ИИ
Разработка на основе LLM
Ассистенты, поиск по документам, обработка обращений и речь на больших языковых моделях. Модель выбираем по требованиям к данным: облачные YandexGPT и GigaChat или открытая модель на серверах в России.
- Тип
- Языковые модели и ИИ-сервисы
- Направление
- ИИ
LLM (large language model, большая языковая модель) — нейросеть, обученная на больших объёмах текста. Она понимает вопрос на обычном языке, отвечает, классифицирует тексты и извлекает из них данные.
Стек по слоям
| Слой | Технологии | Когда используем |
|---|---|---|
| Российские облачные модели | YandexGPT, GigaChat | Тексты на русском, данные обрабатываются в России |
| Зарубежные модели | OpenAI GPT, Anthropic Claude | Задачи без персональных данных, если заказчик может работать с этими сервисами |
| Открытые модели | Llama, Qwen, Mistral | Развёртывание на серверах в РФ: данные не уходят из контура компании |
| Поиск по документам (RAG) | PostgreSQL с pgvector, Qdrant | Векторный поиск по базе знаний, ответ со ссылкой на источник |
| ИИ-сервисы | Python, FastAPI, PyTorch | API для модели, обработка документов, очереди задач |
| Речь | Yandex SpeechKit, Whisper | Распознавание и синтез речи, расшифровка звонков |
| Сканы и изображения | Мультимодальные модели, PyTorch | Распознавание документов, полей и фотографий |
| Интеграция | Laravel и PHP, Node.js, React | ИИ внутри сайта, CRM, личного кабинета или приложения |
Облако или свои серверы
Выбор начинается с данных, а не с модели. Если в запросах нет персональных данных и коммерческой тайны, подключаем облачную модель по API: это быстрый старт без своего оборудования. Если есть, учитываем 152-ФЗ: персональные данные россиян хранят в базах на территории России, а передача за рубеж требует уведомления Роскомнадзора и может быть запрещена. Для таких задач берём YandexGPT или GigaChat либо разворачиваем открытую модель на сервере компании или в российском облаке.
Как ИИ встраивается в продукт
ИИ-модуль делаем отдельным сервисом на Python с API. Основной продукт остаётся на своём стеке — Laravel, Node.js или React — и обращается к сервису как к любой другой системе. Модель меняется без переделки продукта: например, облачная на открытую, когда растёт поток запросов или ужесточаются требования к данным.
Интерфейс для ИИ-помощника тоже проектируем: пример — UX цифрового помощника «Макс» для портала госуслуг с диалоговой логикой и единым сценарием для мобильной и веб-версии. Сроки, этапы и стоимость внедрения — на странице «Внедрение ИИ в бизнес-процессы».
Что делаем на основе LLM
- 01Ассистенты и чат-боты
- 02Поиск по документам и базе знаний (RAG)
- 03Разбор обращений, писем и заявок
- 04Извлечение данных из сканов, фото и документов
- 05Распознавание и синтез речи, разбор звонков
- 06ИИ-функции в CRM, на сайте и в приложениях
Когда выбираем
Когда ИИ и LLM — правильный выбор.
01
Много однотипного текста
Заявки, письма, договоры, вопросы клиентов: модель сортирует их, извлекает поля и готовит черновик ответа.
02
Знания разбросаны по документам
Регламенты, инструкции, база знаний: поиск по смыслу находит ответ и показывает, откуда он взят.
03
Результат можно проверить
ИИ уместен там, где ответ проверяет человек или правило. Где ошибка недопустима, оставляем обычную логику кода.
Как идёт проект
От пилота до мониторинга.
Сначала проверяем на ваших данных, что модель справляется с задачей, и только потом встраиваем её в работу.
Пилот на реальных данных
01Берём настоящие обращения и документы, а не учебные примеры, и проверяем, какая модель и какой подход решают задачу.
Метрики качества
02Собираем контрольный набор вопросов с эталонными ответами и измеряем точность, ошибки, скорость и цену запроса. По этим цифрам выбираем модель.
Запуск в работу
03Встраиваем ИИ в продукт: права доступа, журнал запросов, ограничения на действия и запасной сценарий, если модель не ответила.
Мониторинг
04Следим за качеством ответов, задержкой и расходами, разбираем ошибки и пополняем ими контрольный набор.
FAQ
Вопросы о разработке на основе LLM
Какую языковую модель выбрать для проекта?
Ту, что лучше справляется с вашей задачей на ваших данных при допустимой цене и требованиях к хранению данных. На пилоте прогоняем одни и те же реальные вопросы через несколько моделей и сравниваем точность, скорость и стоимость запроса. Для персональных данных выбираем из российских моделей и открытых моделей на серверах в РФ.
Можно ли отправлять в ИИ персональные данные?
Только с соблюдением 152-ФЗ. Персональные данные россиян хранят в базах на территории России, а передача за рубеж требует уведомления Роскомнадзора и может быть запрещена. Поэтому такие сценарии строим на YandexGPT, GigaChat или открытой модели на серверах в РФ, а где возможно — обезличиваем данные до отправки в модель.
Что выгоднее: облачная модель или своя на сервере?
Облачная дешевле на старте: оплата за запросы, без своего оборудования. Своя открытая модель требует сервера с GPU, зато данные не покидают компанию, а расходы предсказуемы при большом потоке запросов. Часто сочетаем оба варианта: обезличенные задачи — в облако, конфиденциальные — на свою модель.
Где хранятся документы для поиска по базе знаний?
В векторной базе — PostgreSQL с расширением pgvector или Qdrant — на сервере компании или в российском облаке. Документы разбиваем на фрагменты, модель получает только найденные фрагменты, а ответ ссылается на источник. Права доступа учитываем: сотрудник получает ответ только из тех документов, которые ему доступны.
Можно ли добавить ИИ в существующий сайт или CRM?
Да. ИИ-модуль делаем отдельным сервисом с API и подключаем к продукту на Laravel, Node.js или React, к CRM, почте и 1С. Переписывать систему не нужно, а модель потом можно заменить, не трогая продукт.
Как вы проверяете качество ответов ИИ?
До запуска собираем контрольный набор реальных вопросов с эталонными ответами и прогоняем через него каждую версию системы: смотрим долю верных ответов, ошибки и стоимость. После запуска журналируем запросы, разбираем ошибки и добавляем их в набор.
Сколько стоит разработка на основе LLM?
Стоимость считаем под задачу: она зависит от числа сценариев, объёма и вида данных, интеграций и того, где работает модель — в облаке или на ваших серверах. Отдельно учитываем расходы на запросы к модели или аренду сервера с GPU. Оценка бесплатная: бриф оцениваем в течение часа, калькуляцию с таймлайном присылаем в течение 24 часов.
Связанные материалы
Готовые решения