В работе любой компании сотрудникам регулярно приходится обращаться к внутренним документам: искать инструкции, уточнять регламенты и находить ответы на рабочие вопросы. По мере роста бизнеса неизбежно разрастается и база знаний. В какой-то момент найти нужный ответ в этом массиве данных становится слишком сложно, и сотрудники начинают тратить на поиск информации слишком много времени.
Особенно заметной эта проблема становится, когда корпоративная база знаний превышает тысячи документов. В таком объеме быстро найти необходимые данные почти невозможно: нужно понять, где искать, правильно сформулировать запрос, а затем вручную разбираться с результатами.
Чтобы упростить этот процесс и не выводить данные за пределы компании, можно внедрить локального AI-ассистента.
На примере маркетплейса цветов и подарков «Флаувау» разберем, какие есть возможности для реализации этого решения: разработать собственную систему или использовать готовые LLM-продукты.
Плюсы использования собственной LLM
Внедрение стороннего коробочного продукта позволяет быстро начать работу, но часто отталкивает высокой ценой, жесткими лимитами на объем загружаемых документов и отсутствием гибкости. Размещение open source моделей в стороннем облаке дает больше свободы, но требует серьезных затрат на инфраструктуру, из-за чего они сложно окупаются. А использование облачных сервисов создает дополнительные риски утечки конфиденциальной информации.
Отказ от сторонних API и создание своего решения на базе локальных LLM требуют больше ресурсов на старте. Однако они дают полный контроль над данными, возможность управлять процессами и предсказуемые расходы при росте нагрузки.
Именно поэтому в компании решили пойти по второму пути — разработать локального AI-ассистента самостоятельно.
LLM-систему можно создать за 2,5 месяца
Самостоятельная разработка всех компонентов системы с нуля может занять от шести до девяти месяцев. Такой подход требует отвлечения IT-команды на длительное время, что не всегда целесообразно.
Чтобы сэкономить ресурсы, логично задействовать уже знакомые команде инструменты. Конкретный сервис здесь не принципиален, главное — чтобы он мог связывать разные сервисы между собой. Например, в случае с маркетплейсом таким решением стал self-hosted n8n. Эта low-code-платформа взяла на себя роль оркестратора и связала корпоративный мессенджер, языковые модели и базу знаний.
Для реализации архитектуры корпоративного ассистента потребуется развернуть два инстанса n8n. Основной (инфраструктурный) контур развернут в облаке компании и закрывает базовые автоматизации в корпоративном мессенджере, не связанные с LLM. Второй (локальный, on-premise) n8n работает на отдельном сервере в офисе и отвечает за ресурсоемкие операции с LLM.
Для работы с базой знаний оптимально реализовать RAG: при таком подходе модель получает контекст из базы прямо в момент запроса. Вся документация хранится внутри корпоративного контура. Она разбита на разделы, а документы — на чанки, для каждого из которых заранее рассчитаны векторы. Когда сотрудник задает вопрос, система находит топ совпадений и передает их модели для сборки ответа. Чтобы база всегда оставалась актуальной, отдельный флоу ежедневно обновляет чанки по изменившимся документам.
Выбор конкретных нейросетей зависит от задач бизнеса и всегда требует серии внутренних тестов. Во Флаувау для поиска по документации лучше всего показала себя модель Qwen3 VL 30B Instruct. Для расширения возможностей AI-бота в интерфейс добавили переключатель под разные сценарии: Qwen3 Coder 30B задействуют при работе с кодом, Qwen3 VL 30B Instruct — для распознавания изображений, а роль базовой модели по умолчанию выполняет gpt-oss:20b. Вся система работает на собственном сервере внутри корпоративного контура (конфигурация: Ryzen 9950X, RTX 5090 32 GB, 128 ГБ ОЗУ и SSD на 2 ТБ).
Оптимизация работы и устранение узких мест
На практике запустить модель — это только половина дела, так как на этапе первых нагрузочных тестов можно столкнуться с несколькими проблемами. Одна из ключевых — резкий рост времени ожидания при параллельной обработке запросов.
Справиться с задержками помогает комплекс настроек. Очередь по принципу FIFO равномерно распределяет нагрузку на сервер. Асинхронный обмен между локальной и облачной средами n8n разгружает интерфейс. А плашка-уведомление в мессенджере предупреждает пользователя, что запрос обрабатывается, и снимает неопределенность.
Второй вызов — качество ответов. LLM может галлюцинировать сама по себе, но нередко причина кроется в устаревших инструкциях. Чтобы решить эту проблему, в интерфейс бота стоит добавить кнопку «Сообщить об ошибке». Если сотрудник считает ответ неточным, он отправляет комментарий в специальный канал вместе с вопросом и ответом модели. Такой подход помогает не только собирать обратную связь, но и оперативно находить документы, которые требуют обновления.
Результаты
Для любого бизнеса создание локального AI-ассистента — это логичная эволюция процессов. Сначала компании автоматизируют отдельные рутинные действия, а затем переходят к оптимизации работы со знаниями и документацией.
Разработка собственного решения требует определенных усилий на старте, однако при росте нагрузки эти вложения окупаются. В случае с Флаувау переход на собственную инфраструктуру позволил сократить затраты на RAG в 5,5 раза по сравнению с оплатой сторонних сервисов. При этом компания сохранила полный контроль над конфиденциальными данными внутри защищенного контура и получила гибкую систему, которую можно адаптировать под новые задачи.
Эксперт: Ольга Мастерова, руководитель направления IT-инфраструктуры и автоматизации Флаувау.
