Развернули корпоративного ИИ-ассистента на серверах компании

Задача

Сотрудники производственной компании постоянно обращались к регламентам, договорам, техническим инструкциям и базе знаний. Нужные сведения приходилось искать по папкам или спрашивать у коллег.

Компания хотела внедрить ИИ-помощника, но не могла передавать внутренние документы и коммерческую информацию во внешние сервисы.

Что сделали

1. 01

   Поиск по документам

   Сотрудник задаёт вопрос обычным языком и получает ответ со ссылкой на конкретный источник.

2. 02

   Разные форматы

   Система обрабатывает PDF, Word, Excel и сканированные документы.

3. 03

   Права доступа

   В поиск попадают только документы, разрешённые конкретному сотруднику.

4. 04

   Обновление базы

   При изменении исходных документов знания актуализируются автоматически.

5. 05

   Локальная обработка

   Модели, обработка запросов и хранение данных работают внутри инфраструктуры заказчика.

Как реализовали

• Qwen3.8-27B
• Qwen3-Embedding-0.6B
• Qwen3-Reranker-0.6B
• vLLM
• Qdrant
• Docling
• Python
• FastAPI
• Docker

Qwen3.8-27B развёрнута через vLLM на GPU-сервере клиента. Для поиска построили RAG-систему: ответ формируется по найденным фрагментам корпоративных документов.

Docling извлекает текст и таблицы. Qwen3-Embedding-0.6B создаёт векторные представления, Qdrant хранит поисковый индекс. Qwen3-Reranker-0.6B отбирает наиболее подходящие фрагменты. Компоненты связаны на Python и FastAPI, развёртывание выполняется в Docker.

Результат

• 100% обработки ИИ-запросов выполняется внутри инфраструктуры заказчика, без передачи документов внешним ИИ-провайдерам.
• Вместо ручного просмотра папок сотрудники используют единый поиск по внутренним документам.
• Ответы содержат ссылки на источники, доступ к сведениям учитывает права сотрудника.