AI-инженерия. Построение приложений с использованием базовых моделей (pdf+epub)

Фундаментальная, качественная, проработанная, подробная и основательная книга, всесторонне охватывающая все особенности построения приложений на базе больших языковых моделей.

В отличие от традиционной инженерии машинного обучения, предполагающей разработку исходной модели с нуля, AI-инженерия подразумевает использование базовые моделей в качестве ядра финального приложения. Такая разработка, наряду с известными практиками MLOps, характерными для разработки моделей, требует также использования дополнительных методов для настройки исходных моделей общего назначения для применения в прикладной конкретной задаче. Рассмотрению именно таких приёмов, а также глубокому высокоуровневому подходу к проектированию приложений на базе AI посвящена настоящая книга.

Начинается книга с подчёркивания упомянутых выше отличий, уточняется смысл использования в книге терминов AI и ML, затем фокус смещается на большие языковые модели и класс трансформеров, читателю даются базовые представления об архитектуре такого рода моделей, устройстве механизма внимания, маскирования для блоков декодера и вероятностной природе вывода текстовых последовательностей, получаемых в результате работы NLP моделей.

После этого автор последовательно рассматривает шаги по использованию базовых моделей для создания собственных приложений, а также не забывает предостеречь читателя от чрезмерно завышенных ожиданий, подчёркивая различия между успешным готовым решением, разработка которого может занять значительное время даже у квалифицированной инженерной команды, и работающим прототипом, собрать который любой энтузиаст способен за выходные.

Основная же часть произведения посвящена основных этапам адаптации модели общего назначения под ваши задачи. Эти этапы приводятся в книге в порядке, рекомендуемом к применению на практике (начать с первого и, если результат вас не устроит, продолжать применение следующего из перечисленных ниже подходов).

Процесс адаптации, равно как и при разработки модели машинного обучения, начинается с инженерии данных. Учитывая специфику языковых модели (которые работают с текстом), книга знакомит читателя с основами инженерии данных в данном домене знаний, а также приводит примеры открытых датасетов и бенчмарков, используемых для оценки и сравнения моделей между собой.

Разобравшись с данными, мы переходим к подготовку и подбору правильного запроса, выделяемого в настоящий момент в отдельную дисциплину (и, несмотря на некоторый скепсис даже внутри сообщества), позволяющий достичь значительных результатов по адаптации модели нуждам проектируемого приложения).

Логическим следствием предыдущего приёма расширения контекста и контекстуального обучения является использование внешней памяти в качестве источника дополнительных знаний модели. Хотя обогащение уже имеющихся знаний новыми (например, появившимися после релиза модели или закрытыми данными вашей организации) в настоящий момент является практически повсеместной инженерной практикой, данная книга подробно разбирает преимущества и подходы к построению RAG-систем и использованию векторных баз данных для быстрого поиска внутри хранилища знаний.

Автономные агентные системы — ещё один завоевавший в последнее время понятную популярность инженерный изыск, проектированию которого, а также оценке рисков использования и соображениям безопасности в книге уделяется отдельное внимание.

Все перечисленные ранее методы не оказывали влияния на исходную модель. Если же их оказывается недостаточно для достижения желаемой точности, можно обратить внимание на дообучение. Так, в книге рассмотрены примеры fine-tuning-а на примере LoRA (как наиболее распространённого примера PERF), работа с адаптерами, дистилляция знаний и построение комбинации на основе нескольких моделей разного размера и производительности.

В завершении также рассмотрены методы оптимизации вывода, некоторые особенности процессорных архитектур, метрики производительности и особенности мониторинга и стратегий получения обратной связи от пользователей приложения.

Несмотря на то, что книга не погружается глубоко в технические детали и старается максимально доступно изложить основные идеи, рассматриваемые в книге, нужно понимать, что она ориентирована на технических специалистов и едва ли покажется простой для понимания человеку, далёкого от разработки систем машинного обучения и разработки приложений вообще. Несмотря на то, что с появлением базовых моделей и развитием искусственного интеллекта создание приложений, безусловно, стало гораздо проще для неспециалистов, всё же пока не стоит сбрасывать со счетов инженерное образование и опыт, а также тот набор методологий, практик, принципов мышления и проектирования наблюдаемых масштабируемых отказоусточивых систем, которыми требуется обладать для создания программного продукта.

Само существование книги, а также то, как подробно, досконально и скрупулёзно описан здесь каждый из этапов построения AI-приложений, лишь подтверждает данное наблюдение. Таким образом, книга представляет интерес для инженеров и разработчиков приложений, даже далёких от разработки ML-систем, потому что новая реальность состоит в том, что рано или поздно AI-инструменты продолжат получать всё большее распространение, и для обслуживания, разработки и эксплуатации этих инструментов потребуются знания и навыки, описанные в книге.

Наша способность конструировать вещи настолько сложные, что мы перестаем их понимать, — одновременно и благословение, и проклятие.