Локальная нейросеть для компании: железо, модели, стоимость

Обычно интерес к собственному серверу с языковой моделью возникает после того, как сотрудники начинают загружать в публичные чат-боты договоры, финансовые таблицы, исходный код или переписку с клиентами. Служба информационной безопасности это замечает и либо полностью блокирует доступ к внешним нейросетевым сервисам, либо ставит условие: обработка должна происходить внутри периметра компании.

На практике переход на локальные LLM оправдан в четырех рабочих сценариях:

1. Жесткие требования к конфиденциальности и контролю контура. Внутренний аудитор, корпоративный стандарт или договор с крупным заказчиком прямо запрещают передавать тексты документов третьим лицам. Когда модель работает на вашем сервере в закрытой сети, промпты и ответы не покидают инфраструктуру компании.
2. Работа в изолированных сетях. На промышленных предприятиях, объектах критической информационной инфраструктуры или в закрытых конструкторских бюро у рабочих станций часто нет выхода в интернет. Облачный API там технически неприменим — сервис должен подниматься во внутренней локальной сети.
3. Предсказуемая нагрузка 24/7. Если нейросеть встроена в производственный конвейер — например, круглосуточно классифицирует тысячи входящих обращений, разбирает логи или индексирует архивы документов, — плата за каждый токен в облаке растет пропорционально объему. Собственный или арендованный сервер с GPU при высокой утилизации переводит расходы из переменных в фиксированные.
4. Независимость от изменений во внешних сервисах. Облачные провайдеры периодически обновляют версии моделей, меняют системные ограничения, выводят старые снапшоты из эксплуатации или пересматривают тарифы. В локальном контуре вы сами фиксируете конкретную сборку весов и квантование: модель послезавтра будет отвечать на те же промпты ровно так же, как сегодня.

При этом вокруг локального размещения есть два опасных заблуждения, которые лучше развеять до покупки оборудования.

Первое касается законодательства о персональных данных. Сам по себе факт покупки сервера и установки на него открытой модели не обеспечивает автоматического соблюдения 152-ФЗ. Закон требует комплекса организационных и технических мер: модели угроз, категорирования, разграничения прав доступа, учета машинных носителей, регламентов логирования и сертифицированных средств защиты информации там, где это применимо. Локальный сервер убирает передачу данных внешнему облачному провайдеру LLM, но всю ответственность за защиту контура оставляет на вашей компании.

Второе заблуждение связано с точностью ответов на внутренних документах. Часто локальную модель ставят вместе с базой знаний по технологии RAG (поиск по корпоративным документам с передачей найденных фрагментов в контекст генерации), рассчитывая получить безошибочного консультанта по регламентам. Например, в качестве векторного хранилища используют специализированные движки вроде Qdrant: согласно официальной документации Qdrant, такие системы позволяют разделять векторы и полезную нагрузку (payload), настраивать коллекции, индексы, фильтрацию по метаданным и сочетать векторный поиск с полнотекстовым. Это действительно снижает риск выдумок, потому что модель опирается на найденный абзац, но не гарантирует абсолютной истинности ответа. Математическая близость векторов означает лишь семантическое сходство фрагментов текста, а не фактическую правильность вывода. Для критичных процессов — бухгалтерии, юридических заключений, медицинских или инженерных допусков — поверх ответов модели всегда нужен контроль со стороны человека или жесткая программная проверка.

Для запуска на собственном оборудовании компании используют модели с открытыми весами (open-weights). В отличие от закрытых проприетарных сервисов, файлы весов таких моделей можно скачать, разместить на своем диске и запустить без обращения к серверам разработчика.

Выбор в корпоративной среде обычно строится вокруг четырех семейств, но перед развертыванием в коммерческом продукте у каждой конкретной версии нужно проверять текст лицензии и актуальные бенчмарки под вашу задачу.

DeepSeek

Китайское семейство моделей, которое часто выбирают, когда нужно развернуть DeepSeek локально для задач программирования, сложного анализа текста, работы с логическими цепочками и многошаговыми инструкциями.

Внутри линейки важно различать два типа архитектур:

• Полноразмерные модели с архитектурой Mixture-of-Experts (MoE). Они содержат сотни миллиардов параметров, из которых при генерации каждого токена активируется лишь небольшая часть. Главный нюанс для инфраструктуры: чтобы модель работала быстро, в память серверов все равно нужно загрузить все веса целиком, а не только активные параметры. Для одного офисного сервера такие версии слишком тяжелы и требуют многокарточных кластеров промышленного уровня.
• Дистиллированные и младшие плотные (dense) версии. Это компактные модели (например, в диапазонах от 7–8 до 32–70 миллиардов параметров), которым передали навыки рассуждения старших версий. Именно их обычно ставят в компаниях на одну-две видеокарты для внутренних ассистентов разработчиков и аналитиков.

Qwen

Семейство моделей от команды Alibaba Cloud. В российской корпоративной практике линейка Qwen стала одной из самых востребованных по двум причинам: она уверенно работает с русским языком в мультиязычном режиме и имеет очень широкую размерную сетку.

В семействе есть как легкие модели на несколько миллиардов параметров (подходят для быстрой классификации, извлечения сущностей из карточек товаров или черновой суммаризации), так и средние модели (14B–32B), которые хорошо помещаются на одиночные мощные ускорители, и тяжелые корпоративные версии (72B и крупные MoE-сборки). Кроме того, у Qwen выделены специализированные ветки для написания кода и работы с изображениями.

Llama

Семейство открытых моделей от компании Meta. Исторически именно вокруг архитектуры Llama сформировалась вся современная экосистема инструментов для локального запуска, квантования и дообучения: любая серверная утилита в первую очередь оптимизируется под нее.

У семейства есть две особенности, которые нужно учитывать российскому бизнесу:

• Базовые модели обучались преимущественно на англоязычных корпусах. Последние поколения заметно лучше понимают русский язык, но для тонкой работы со стилистикой или специфической российской терминологией часто выбирают либо дообученные русскоязычным сообществом адаптации, либо модели Qwen.
• Лицензия семейства — кастомная коммерческая, а не стандартная Apache 2.0 или MIT. В ней есть ограничения по масштабу бизнеса (порог активных пользователей) и правила именования производных продуктов. Перед коммерческим использованием конкретной версии юридический отдел должен свериться с актуальным текстом лицензионного соглашения.

GigaChat

Разработка Сбера, изначально ориентированная на русский язык, отечественную деловую лексику и локальный культурный контекст. Для компаний доступны два разных пути работы с этим семейством:

• Использование через облачный API. По данным официальной документации GigaChat API (проверено 2 ноября 2026 года), сервис умеет работать с текстами, файлами, изображениями, вызовами функций (function calling), эмбеддингами, структурированными данными и потоковой генерацией.
• Локальное развертывание. Сбер публикует в открытом доступе веса отдельных облегченных версий моделей, а для крупного бизнеса предлагает варианты установки корпоративных сборок в закрытый контур заказчика (on-premise) по коммерческим соглашениям. Открытые сборки можно тестировать самостоятельно, но перед запуском в продакшен необходимо проверить условия лицензии выбранного репозитория — некоторые версии разрешены только для исследовательских, некоммерческих целей.

Главное узкое место для любой локальной LLM — не центральный процессор и не объем жесткого диска, а видеопамять (VRAM) графических ускорителей и пропускная способность шины памяти.

Языковая модель при генерации ответа выдает текст по одному токену (слову или части слова). Чтобы сгенерировать каждый следующий токен, видеокарта должна прочитать через свою память все активные веса модели. Поэтому:

• От объема видеопамяти зависит, поместится ли модель на видеокарту вообще и какой длины документ (контекст) вы сможете ей передать.
• От пропускной способности памяти GPU зависит скорость генерации (сколько токенов в секунду увидит сотрудник на экране).

Если модель не помещается в видеопамять целиком, часть её слоев можно выгрузить в обычную оперативную память сервера (RAM) и считать центральным процессором — например, с помощью открытого фреймворка llama.cpp на C/C++. Работать это будет, но скорость упадет в разы: для фоновой ночной обработки анкет такой режим допустим, а для интерактивного чата, где сотрудник ждет ответа в реальном времени, — нет.

Как посчитать нужный объем видеопамяти

В исходном виде веса современных моделей обычно хранятся в 16-битном формате (FP16 или BF16), где на каждый параметр нужно 2 байта. Чтобы запускать модели на доступном оборудовании, применяют квантование — сжатие весов до 8 или 4 бит с минимальной потерей качества.

Для предварительной математической оценки объема памяти, который займут только сами веса модели, используется базовая формула (согласно принципам работы с весами в проектах вроде llama.cpp):

$$\text{Память весов (в байтах)} = \frac{\text{Число параметров} \times \text{Число бит}}{8}$$

Разберем условный расчетный пример для модели на 8 миллиардов параметров в 4-битном квантовании:

$$8\,000\,000\,000 \times 4 / 8 = 4\,000\,000\,000\text{ байт} \approx 3{,}73\text{ GiB}$$

Однако 3,73 GiB — это только «сухие» веса. В реальной эксплуатации видеокарте потребуется дополнительная память еще на три статьи расходов:

1. Накладные расходы формата квантования и системные буферы движка инференса.
2. Контекстное окно (KV-кеш). Чем длиннее документ в промпте и чем больше пользователей одновременно отправляют запросы к серверу, тем больше гигабайт видеопамяти съедает кеш ключей и значений. На длинных контекстах (32–128 тысяч токенов) KV-кеш легко может занять больше места, чем сама модель.
3. Особенность MoE-моделей. Если вы берете модель с архитектурой Mixture-of-Experts, в формулу памяти нужно подставлять общее число всех размещаемых параметров, а не только число активных параметров, участвующих в генерации одного токена.

Для примера: у флагманской потребительской видеокарты GeForce RTX 5090, согласно официальной спецификации NVIDIA, объем видеопамяти составляет 32 GB GDDR7. Этот объем является жестким физическим потолком одной такой карты: он позволяет разместить модель средних размеров (например, 14B–32B в 4-битном квантовании с умеренным контекстом), но сам по себе не гарантирует запуск любой крупной LLM и требует расчета под конкретную длину промптов и число одновременных сессий.

Таблица: модель, видеокарта, память, скорость

Поскольку реальная скорость в токенах в секунду сильно зависит от конкретного движка (vLLM, TGI, llama.cpp), длины входного промпта, размера пакета параллельных запросов (batch size) и точности квантования, ниже приведена ориентировочная инженерная матрица. В ней расчет памяти весов выполнен по математической формуле выше, а характеристики оборудования и скоростные режимы указаны как ориентиры для проектирования, которые необходимо проверять нагрузочным тестированием на вашей задаче.

Примечание к таблице: собственных синтетических замеров скорости (токенов/с) на перечисленных конфигурациях для этой статьи не проводилось. Перед закупкой сервера мы рекомендуем прогнать ваши реальные промпты на арендованном стенде с такой же видеокартой.

Помимо видеокарт, серверу под локальную LLM потребуются:

• Оперативная память (RAM): минимум в 1,5–2 раза больше суммарного объема видеопамяти всех установленных GPU (чтобы система могла без сбоев загружать модели с диска и обслуживать сопутствующие сервисы — векторную базу, бэкенд, очереди).
• Быстрые накопители NVMe SSD: файлы весов весят от десятков до сотен гигабайт. На медленных дисках перезапуск модели или смена контейнера будет занимать десятки минут вместо секунд.
• Питание и охлаждение: сервер с двумя-четырьмя мощными видеокартами потребляет от 1,2 до 3+ кВт под нагрузкой и издает шум на уровне пылесоса. Поставить такую машину в обычной серверной комнате офиса без промышленного кондиционирования и выделенной линии питания не получится.

Для ориентира по аренде: на 2 ноября 2026 года FirstVDS публикует стартовую цену vGPU на базе L40S от 299 ₽ в сутки, а линейки с выделенной видеокартой через GPU Passthrough — от 1 150 ₽ в сутки. При неизменной посуточной цене 30 суток составят от 8 970 и 34 500 ₽ соответственно. Это расчет по стартовым предложениям разных классов услуг, а не месячный тариф и не стоимость любой выбранной карты. Объем выделенной видеопамяти, конкретную конфигурацию, наличие и условия оплаты нужно проверять при заказе. Минимальный оплачиваемый срок — сутки; его можно использовать для проверки своей модели перед длительной арендой.

Финансовое решение между локальной моделью и облачным API часто принимают на эмоциях: либо «облако — это копейки», либо «купим один раз видеокарту и забудем про счета». На деле экономика зависит от объема токенов в месяц и стоимости владения инфраструктурой.

Сколько стоят облачные российские API (проверено 2 ноября 2026)

Чтобы понять, с чем конкурирует собственный сервер, посмотрим на официальные публичные тарифы двух крупных российских платформ в синхронном режиме (цены указаны в рублях с НДС за 1 000 токенов):

1. Yandex AI Studio (по данным официального прайса AI Studio, проверено 2 ноября 2026):

   • Alice AI LLM Flash: вход — 0,1 ₽ за 1 000 токенов, выход — 0,2 ₽ за 1 000 токенов.
   • YandexGPT Lite: вход — 0,2 ₽ за 1 000 токенов, выход — 0,2 ₽ за 1 000 токенов.
   • YandexGPT Pro 5.1: вход — 0,8 ₽ за 1 000 токенов, выход — 0,8 ₽ за 1 000 токенов.
   • Важное условие: входные и выходные токены считаются раздельно; кеширование контекста и встроенные инструменты тарифицируются по отдельным правилам.

   Условный расчетный пример: допустим, отдел компании за смену или тестовый период отправил в YandexGPT Lite 1 миллион входных токенов (промпты и загруженные фрагменты документов) и получил 200 тысяч выходных токенов (ответы модели).

   • Стоимость входа: $1\,000 \times 0{,}2\text{ руб.} = 200\text{ руб.}$.
   • Стоимость выхода: $200 \times 0{,}2\text{ руб.} = 40\text{ руб.}$.
   • Итого: 240 ₽ чисто за генерацию текста (без учета расходов на стороннюю инфраструктуру, разработку и сопутствующие сервисы). При ста таких циклах в месяц счет за API составит всего 24 000 ₽ — ради такого объема покупать собственный сервер экономически бессмысленно.

2. GigaChat API для бизнеса (по данным страницы тарифов для юрлиц, проверено 2 ноября 2026, обновление страницы от 7 октября 2026):

   • Для действующих клиентов «СалютДевайсы» / «Салют для Бизнеса» в синхронном режиме pay-as-you-go действуют тарифы за 1 000 токенов с НДС: GigaChat Lite — 0,065 ₽, GigaChat Pro — 0,5 ₽, GigaChat Max — 0,65 ₽. При фактическом использовании действует минимальная сумма 600 ₽ в месяц (если запросов в месяце не было, плата не взимается).
   • Для новых клиентов, подключающихся с 1 сентября 2026 года, оплата и тарификация переведены через платформу cloud.ru. Автоматически переносить на новые подключения старые тарифы действующих клиентов нельзя — актуальные условия необходимо запрашивать непосредственно у cloud.ru перед расчетом бюджета.

Из чего складывается стоимость локального сервера и внедрения

В отличие от API, где вы платите по счетчику за токены, локальная нейросеть состоит из капитальных затрат (CAPEX) при покупке сервера либо регулярных платежей (OPEX) при аренде выделенного GPU-сервера в дата-центре, плюс стоимость работ по развертыванию и интеграции.

Поскольку розничные цены на серверные комплектующие и видеокарты (например, на ту же RTX 5090 или промышленные ускорители) в России зависят от канала поставки, курса валют и наличия гарантии, ниже приведена таблица всех обязательных статей сметы, которые нужно заложить в бюджет перед стартом проекта.

Отдельно стоит учитывать стоимость самой прикладной разработки — то есть превращения «голой» модели в рабочий инструмент для сотрудников. Если ориентироваться на открытые данные игроков рынка, то, например, в публичном прайсе компании Goose AI (проверено 2 ноября 2026 года) внедрение готового ИИ-агента из каталога оценивается в 150 000–300 000 рублей, включая проработку сценариев, интеграции и тестирование. Важно понимать, что это предложение конкретного подрядчика за прикладного агента, а не среднерыночная стоимость серверной инфраструктуры и не прайс нашей компании. Ознакомиться с подходом и структурой расценок «ЭйАй Бизнес» можно на странице /ceny.

На практике разумная стратегия выглядит так:

1. На этапе проверки гипотезы (1–2 месяца) не покупать сервер, а арендовать облачный инстанс с GPU на синтетических (обезличенных) данных.
2. Замерить реальную нагрузку: сколько сотрудников реально пользуются системой, какой длины промпты они отправляют и хватает ли выбранной модели (например, на 14 или 32 млрд параметров).
3. Только после подтверждения ценности и понимания точного профиля памяти закупать физическое железо в собственный контур.

Главный компромисс локальных нейросетей можно сформулировать просто: на одном стандартном сервере с 1–2 доступными видеокартами нельзя запустить модель того же масштаба, который крутится на десятках промышленных ускорителей в дата-центре крупного облачного провайдера.

Разница в качестве проявляется неравномерно и сильно зависит от класса задачи:

• Где локальные модели средних размеров (14B–32B) справляются на уровне облачных:

  • Суммаризация протоколов совещаний, писем и проектной документации.
  • Извлечение структурированных полей (ИНН, суммы, даты, списки позиций, имена) в формат JSON по заданной схеме.
  • Ответы на вопросы сотрудников по внутренней базе знаний (RAG), когда правильный ответ уже содержится в найденном куске регламента и модели нужно лишь грамотно его сформулировать.
  • Классификация обращений в техподдержку по тематике, тональности и срочности.
  • Перевод технических текстов и помощь программистам с типовыми функциями, тестами и документацией к коду.

• Где компактные локальные модели заметно уступают тяжелым облачным флагманам:

  • Свободная генерация длинных сложных текстов с тонкими стилистическими требованиями.
  • Решение нестандартных логических задач в несколько шагов, где ошибка на первом шаге разрушает весь последующий вывод.
  • Одновременное удержание в голове десятков противоречивых правил из огромного системного промпта на десятки страниц.
  • Энциклопедические вопросы «из головы» без подключения внешней базы знаний (у меньшей модели физически меньше сжатых фактов о мире внутри весов).

Кроме того, важно не заставлять языковую модель делать работу, для которой давно созданы более надежные специализированные инструменты. Классический пример — ввод бухгалтерской первички. Пытаться распознавать сканы счетов-фактур через универсальную локальную LLM — дорого по железу и рискованно по точности. Для этого существуют профильные решения: например, официальный сервис 1С:Распознавание первичных документов (1С:РПД) штатно поддерживает счета, накладные ТОРГ-12, акты, счета-фактуры, УПД, УКД и кассовые чеки по понятной цепочке — загрузить, распознать, проверить результат человеком и создать документы в базе (при этом даже здесь ручную проверку перед проведением исключать нельзя). Локальную же LLM разумно подключать там, где заканчиваются жесткие шаблоны: например, для сверки нетиповых формулировок в договорах поставки или разбора свободных комментариев контрагентов.

Чтобы поднять качество локальной модели на корпоративных задачах без покупки многомиллионного кластера, вместо одной гигантской универсальной нейросети строят узкоспециализированный конвейер:

1. Разбивают сложную задачу на 2–3 простых шага (отдельный промпт на извлечение фактов, отдельный — на проверку по чек-листу, отдельный — на форматирование ответа).
2. Подключают гибридный поиск (векторный + полнотекстовый с фильтрами по метаданным в Qdrant), чтобы подавать модели только релевантные абзацы.
3. При необходимости дообучают компактную модель (LoRA-адаптеры) на примерах реальных исторических ответов лучших специалистов компании.

Сама по себе скачанная модель на сервере — это лишь процесс в терминале, который умеет принимать текст по сетевому порту и возвращать поток токенов. Чтобы сотрудники компании могли пользоваться локальной нейросетью в ежедневной работе, вокруг модели нужно собрать полноценный программный стек.

Типовая архитектура корпоративного развертывания включает четыре уровня:

1. Сервер инференса (движок модели). Программный слой, который загружает веса в видеопамять, управляет очередью параллельных запросов от десятков пользователей и распределяет KV-кеш. Для одиночных тестов и гибридного запуска (CPU + GPU) часто используют llama.cpp или оболочки на его базе, а для промышленной многопользовательской нагрузки на GPU — высокопроизводительные серверы инференса с поддержкой непрерывного батчинга (continuous batching).
2. Контур данных и поиск (RAG). Скрипты парсинга внутренних документов (PDF, DOCX, выгрузки из Confluence или базы знаний), модель создания эмбеддингов и векторная база данных (например, Qdrant), которая ищет нужные фрагменты с учетом прав доступа конкретного отдела.
3. Оркестрация и связь с внутренними системами. Чтобы модель могла не просто общаться в чате, а запрашивать остатки на складе или создавать черновики карточек в CRM, нужен слой интеграции:
   • Для визуальной сборки сценариев компании нередко используют платформу n8n. Согласно официальной документации n8n (проверено 2 ноября 2026 года), она совмещает автоматизацию процессов и функции работы с ИИ и поддерживает собственное размещение на сервере компании (self-hosted). При этом важно учитывать юридический статус: n8n распространяется по лицензии fair-code (Sustainable Use License), поэтому её нельзя безоговорочно считать свободным ПО (open source) — для некоторых сценариев коммерческой эксплуатации требуется платная лицензия. По данным официальной страницы тарифов n8n, облачные и платные планы рассчитываются по числу исполнений сценариев (workflow executions): например, при годовой оплате тариф Starter составляет эквивалент 20 евро в месяц за 2 500 исполнений, а Pro — 50 евро в месяц за 10 000 исполнений (доступность оплаты для российских юрлиц, курс и затраты на собственную инфраструктуру и работу интегратора необходимо оценивать отдельно).
   • Для стандартизированного подключения языковых моделей к внутренним источникам данных используется открытый протокол Model Context Protocol (MCP). Как описано в официальной архитектуре MCP (проверено 2 ноября 2026 года), протокол связывает хост-приложение, клиент и серверы через транспорт stdio или Streamable HTTP, позволяя передавать модели инструменты (tools), ресурсы (resources) и шаблоны промптов (prompts). Однако сам по себе протокол MCP не является «волшебной кнопкой» и не создает готовую интеграцию, например, с вашей 1С: инженерам все равно нужно написать реализацию MCP-сервера, настроить ролевую модель безопасности и опубликовать методы самой учетной системы.
4. Клиентский интерфейс для сотрудников. Это может быть защищенный внутренний веб-интерфейс (корпоративный аналог ChatGPT с авторизацией через Active Directory / SSO), плагин в браузере или бот в разрешенном корпоративном мессенджере. Например, если компания строит интерфейс через национальный мессенджер MAX, нельзя механически копировать привычки работы с Telegram BotFather. Согласно официальной документации платформы MAX (проверено 2 ноября 2026 года), создание ботов там требует подключения к платформе партнеров и обязательной верификации профиля организации, ИП или самозанятого — резидента РФ (организации и ИП могут создать до 5 ботов, самозанятые — до 2, а токен выдается через веб-платформу или мини-приложение «MAX для бизнеса»).

Собрать такую систему компания может тремя путями:

• Собственными силами штатного IT-отдела. Подходит, если в штате уже есть свободный DevOps-инженер с опытом работы с CUDA и Docker, Python-разработчик и системный аналитик. Главный риск здесь — потратить полгода фонда оплаты труда на изучение граблей квантования, падений памяти при параллельных запросах и плохого качества поиска по таблицам.
• Покупкой коробочного ПАК (программно-аппаратного комплекса). Крупные вендоры поставляют готовые серверные стойки с предустановленным ПО. Это снимает головную боль со сборкой железа, но стоит значительно дороже и жестко привязывает компанию к экосистеме одного поставщика.
• Проектированием и запуском под ключ с профильным интегратором. В этом варианте подрядчик сначала проводит аудит задач, подбирает минимально достаточную модель, тестирует её на арендованном стенде, помогает составить точную спецификацию сервера для закупки у дистрибьюторов, разворачивает стек в вашем контуре и передает его на поддержку вашей IT-службе.

---

Нужна помощь с внедрением?

Если вы планируете развернуть локальную языковую модель в закрытом контуре компании, подобрать конфигурацию сервера без переплаты за лишние видеокарты и интегрировать ИИ с внутренними базами знаний или учетными системами — команда «ЭйАй Бизнес» поможет пройти этот путь от расчета экономики до промышленного запуска.

Узнать подробности о составе работ, этапах пилотирования и оставить заявку на разбор вашей задачи можно на странице услуги: Локальные LLM для бизнеса: подбор сервера, развертывание и интеграция.