Коротко
Генеративный AI доходит до продакшна, когда готовы данные, архитектура безопасности и люди, которые работают с его результатами. Модель составляет меньшую часть работы, а от системы вокруг нее зависит, выйдет ли пилот за пределы демо.
Чтобы вывести генеративный AI из proof of concept в продакшн, нужны четыре вещи: готовые данные, заранее спроектированная архитектура безопасности, рабочие процессы с проверкой человеком и инфраструктура с мониторингом и контролем расходов. Gartner прогнозировал, что к концу 2025 года не менее 30% проектов генеративного AI будут закрыты после стадии proof of concept.
Gartner назвал причины: низкое качество данных, слабый контроль рисков, растущие расходы и неясная ценность для бизнеса. За ними стоит знакомый сценарий. Команды начинают с модели и идут от нее назад. Начинать нужно с бизнес-процесса. Данные разбросаны по legacy-системам, и единого слоя доступа к ним нет. Проверка безопасности приходит после сборки, и юристы узнают об архитектуре слишком поздно.
Человеческую сторону упускают совсем: никто не перестраивает работу, в которой результат будут читать, проверять и использовать. Демо впечатляет, спонсор воодушевлен, интеграция затягивается, и проект тихо сворачивают. McKinsey оценивает потенциальный вклад генеративного AI в 2,6–4,4 трлн долларов в год по всем отраслям. Эту ценность получают организации, которые относятся к продакшну как к задаче всей системы, где модель только одна из частей.
Управляемые, актуальные и нужные данные, к которым у системы есть доступ, с пайплайнами поиска, стратегией эмбеддингов и понятным циклом обновления.
Резидентность данных, защита от prompt injection, фильтрация ответов, права доступа, журнал аудита и комплаенс, спроектированные до приложения.
Проверка, право отменить решение и обратная связь встроены в процессы, где люди используют результат, с первого релиза.
Масштабируемый запуск моделей с мониторингом, контролем расходов, версионированием, A/B-тестами и мягкой деградацией, когда модель сбоит или дрейфует.
RAG-пайплайн хорош ровно настолько, насколько хорош корпус, по которому он ищет. До первого промпта нужно разобраться с парсингом документов, нарезкой на фрагменты, выбором модели эмбеддингов и векторным хранилищем. Актуальность важна не меньше: если база знаний обновляется раз в квартал, а бизнес живет в ежедневном ритме, система будет уверенно выдавать устаревшие ответы.
В рабочих данных есть пограничные случаи, которых нет в тестовых наборах: несколько языков, сканы, разные форматы в разных legacy-системах. Система, собранная на подготовленных тестовых данных, хорошо выглядит на демо и непредсказуемо ошибается на реальных входных данных. Подготовка данных составляет основную часть работы, и с нее начинают.
Генеративный AI открывает поверхности атаки, которые обычная безопасность приложений не закрывает. OWASP ставит prompt injection на первое место в Top 10 для LLM-приложений: это ввод, составленный так, чтобы изменить поведение модели. Это задокументированный и воспроизводимый класс эксплойтов, поэтому рабочей системе нужны очистка ввода, фильтрация ответов и ограничители на каждом уровне.
Дальше идут основы комплаенса. Где хранятся данные? Что пишется в журнал? Кто что видит? Может ли система выдать ответ, нарушающий требования регулятора? В финансах и телекоме эти вопросы обязательны. Ответы на них закладывают в архитектуру до первой строки кода приложения. Добавлять их после аудита означает перестраивать систему.
Чаще всего упускают рабочий процесс человека. Модель, которая пишет краткие изложения договоров, бесполезна, если у юристов нет понятного способа проверить, утвердить или отклонить их в привычных инструментах. Ассистент поддержки, который готовит черновики ответов, ничего не дает, если операторы не могут их править, передавать выше или оставлять обратную связь.
Проверку человеком нужно проектировать явно. Как выглядит экран проверки? Как показана уверенность модели? Что происходит, когда она ошибается, и как исправление возвращается в систему? Стройте генеративный AI так, чтобы он усиливал людей, которые с ним работают: они отвечают за результат, а система учится на их правках.
Запустить модель в ноутбуке и обслуживать реальную нагрузку означает решать разные задачи. Инфраструктура должна выдерживать переменную нагрузку, контролировать расходы при оплате за токены и показывать задержки, долю ошибок и качество ответов. Важно и версионирование: при смене шаблона промпта или провайдера нужны A/B-тесты и откат.
Сбой провайдера стоит предусмотреть заранее, чтобы приложение понятно сообщало об ошибке, а остальной сервис продолжал работать. Следите за расходами: один неверно настроенный пайплайн может за ночь набрать большой счет. MLOps для генеративного AI отличается от классического ML: меняются метрики оценки, сценарии отказа и ритм релизов.
Готовность данных. RAG-пайплайн хорош ровно настолько, насколько хорош корпус, по которому он ищет, поэтому парсинг, нарезка на фрагменты, эмбеддинги и векторное хранилище идут до первого промпта. Системы, где этот этап пропустили, хорошо работают на подготовленных тестовых данных и непредсказуемо ошибаются на реальных корпоративных.
Проектировать архитектуру безопасности до первой строки кода приложения. OWASP ставит prompt injection на первое место среди рисков LLM-приложений, поэтому рабочей системе нужны очистка ввода, фильтрация ответов и ограничители на каждом уровне. В тот же проект входят резидентность данных, журнал аудита, права доступа и требования регулятора к ответам.
Команды начинают с модели и идут от нее назад. Данные разбросаны по legacy-системам, проверка безопасности приходит после сборки, и никто не перестраивает работу, в которой будут использовать результат. Если относиться к внедрению как к задаче всей системы, все три точки провала становятся частью плана.
Запуск моделей, который выдерживает переменную нагрузку, контроль расходов при оплате за токены, мониторинг задержек и ошибок, версионирование с A/B-тестами и откатом и мягкая деградация при сбое провайдера. Расходы требуют особого внимания: один неверно настроенный пайплайн может за ночь набрать большой счет. MLOps для генеративного AI нужны свои метрики оценки и практики релизов.
Бюджеты на генеративный AI тихо теряются между демо и продакшном. Чтобы закрыть этот разрыв, нужны готовые данные, безопасность, спроектированная до кода, и процессы, где люди проверяют результат модели. opengate проектирует и строит всю систему вместе с моделью и запускает ее там, где должны храниться ваши данные. Начните с одного процесса, а мы измерим, что он дает.
