Автоматизации30 окт · 13 мин

Локальный ИИ-агент в 2026: зачем он бизнесу с чувствительными данными

Простыми словами о том, что такое локальный ИИ-агент, чем он отличается от облачного и от обычной нейросети, и когда его стоит ставить в клинике или юрфирме.

Олег ЕмельяновДелаю продукты с помощью ИИ

Локальный ИИ-агент — это нейросеть, которая работает не в чужом облаке, а на твоём компьютере или сервере, и умеет не только отвечать текстом, но и выполнять действия: читать файлы, править их, запускать команды. От обычной локальной нейросети агента отличает именно вторая часть — действие. От облачного ии агента — то, что данные и расчёты не покидают твоё железо. Разберём по порядку: что это такое, чем агент отличается от нейросети и облака, зачем он бизнесу и что реально нужно, чтобы его запустить.

Локальный ИИ-агент простыми словами

Модель с открытыми весами хранится в файле, обычно формата .gguf или .safetensors. Программа-движок — Ollama или LM Studio — загружает этот файл в память и по твоему тексту достраивает ответ. Скачал модель, запустил движок, получил чат в окне терминала или приложения. Это и есть локальная нейросеть — она отвечает текстом и всё.

Агент получает три вещи сверху: инструменты (доступ к папке с файлами, к терминалу, к поиску), цикл выполнения (модель делает шаг, видит результат, решает, что дальше) и права, которые ей выдали. Без этой обвязки нейросеть напишет, какую команду выполнить, но не выполнит её сама. Чтобы получить агента, к скачанной модели подключают отдельную программу — модель и обвязку приходится выбирать отдельно.

Стоит сразу отделить точное значение от рекламного. На первой странице выдачи по этому запросу один из разборов прямо предупреждает: локальным ИИ-агентом часто называют любую программу с моделью, установленную на компьютер, — и это слишком широкое определение. Программа с моделью без инструментов и цикла выполнения — это чат, не агент.

Чем агент отличается от облачного агента и от нейросети

Разница между агентом и обычным ассистентом — не в том, где он работает, а в уровне самостоятельности. Ассистент действует реактивно: получил запрос — проанализировал — ответил или предложил решение. Для следующего шага ему снова нужны инструкции от человека.

Агент получает цель и дальше действует сам: разбивает задачу на этапы, выбирает инструменты, получает данные из внешних систем, обрабатывает их и выполняет операции. Пример из практики: сотрудник просит ассистента подготовить отчёт о работе отдела и сам даёт свежие данные — ассистент собирает документ. Агенту для той же задачи достаточно цели: он сам найдёт источники и инструменты, соберёт и обработает данные, сформирует отчёт и передаст сотруднику, а если какое-то действие требует согласования — запросит подтверждение у человека.

«Мозг» агента — большая языковая модель, а вокруг неё работают память (контекст предыдущих разговоров), RAG, то есть возможность подтянуть данные из документов перед ответом, инструменты через MCP-серверы, которые открывают доступ к CRM, ERP, базам данных и API, и оркестратор, который решает, что вызвать следующим. Пример RAG: сотрудник спрашивает про правила подготовки бухгалтерского отчёта, агент ищет ответ во внутренних регламентах и отвечает, подкрепляя ответ документом.

Агент сам находит нужный регламент и подкрепляет ответ документом

Локальный агент и облачный агент — это одна и та же схема: модель, память, RAG, инструменты, оркестратор. Разница только в том, где эти части физически живут — на твоём железе или на сервере поставщика.

Зачем бизнесу держать агента у себя

Главный довод — приватность. Текст запроса, содержимое файлов и код остаются на компьютере или сервере компании, пока модель и инструменты локальные. Это особенно важно для медицинских, юридических и бухгалтерских документов, договоров и внутренних баз — и это же требование закона: персональные данные не должны уходить за пределы контура без согласия, это прямо касается 152-ФЗ.

Здесь есть тонкость, которую стоит проверять у каждого инструмента отдельно. У Ollama модели с окончанием :cloud работают на серверах самого сервиса, а не на твоём железе, а встроенный веб-поиск Ollama отправляет запрос на ollama.com. «Локальный» в названии не всегда значит «весь трафик остаётся дома» — это нужно смотреть по каждой функции.

Второй довод — работа без интернета. После того как модель скачана, она отвечает в самолёте, на даче и при упавшем провайдере: чат, работа с документами и локальный сервер в LM Studio работают офлайн, сеть нужна только для поиска и скачивания новых моделей, обновлений и подключения облачных функций.

Третий — независимость от подписки и чужих решений: оплата зарубежных сервисов из России — отдельная задача, а локальный запуск её снимает, платишь только электричеством и железом, без квоты на токены.

Насколько далеко заходит требование приватности, показывает случай из практики: промышленной компании с закрытым контуром понадобился такой же ассистент, какой уже работал у подрядчика в облаке — но без интернета и без доступа к облачным API, только сервер с локальной моделью и внутренняя инфраструктура заказчика. Когда разработчики убрали интернет, часть инструментов агента просто перестала существовать: веб-поиск и чтение страниц, проверка контрагентов по ИНН, автоматизация браузера для внешних источников. Агент должен не падать с ошибкой и не выдумывать данные, а честно сообщать, что инструмент недоступен.

Агент честно говорит, когда инструмент недоступен, а не выдумывает ответ

Что нужно для запуска: железо, модель, инструменты

Модель должна поместиться в память, а для быстрого ответа — целиком загрузиться в видеопамять. Размер файла задаёт нижнюю границу, сверху добавляется место под контекст (историю диалога) и под саму систему — обычно ещё пара гигабайт.

Ориентиры по весам моделей из каталога Ollama на октябрь 2026: при 8 ГБ памяти работают только небольшие модели — Gemma 3 на 4 млрд параметров весит 3,3 ГБ, Qwen3 на 4 млрд — 2,5 ГБ, для коротких ответов и черновиков хватает, для агента со сложной задачей нет. 16 ГБ — рабочий минимум: сюда влезают qwen3:8b (5,2 ГБ), qwen3:14b (9,3 ГБ) и gpt-oss:20b от OpenAI, файл весит 14 ГБ, и разработчики прямо рассчитывали модель на системы с 16 ГБ памяти. При 24–32 ГБ открываются gemma3:27b (17 ГБ) и qwen3:30b (19 ГБ). Старшую gpt-oss:120b (65 ГБ) OpenAI рассчитала на одну видеокарту с 80 ГБ памяти — это уже серверная карта или аренда.

В каталоге уже есть модели следующего поколения: Gemma 4 (gemma4:12b — 7,7–8 ГБ, gemma4:26b — 16–19 ГБ, gemma4:31b — 19–20 ГБ) и Qwen 3.5 (qwen3.5:4b — 3,3–4 ГБ, qwen3.5:27b — 17–20 ГБ, qwen3.5:35b — 22 ГБ); у старших версий обоих семейств окно контекста доходит до 256K, но подбирать модель всё равно нужно под объём памяти.

16 гигабайт памяти — рабочий минимум, 8 хватает только на чат

У чипов Apple Silicon память общая для процессора и графики, поэтому MacBook с 16 или 24 ГБ тянет модели, для которых на Windows понадобилась бы дискретная видеокарта такого же объёма. На Windows и Linux ориентируются на видеопамять карты: запуск на процессоре возможен, но заметно медленнее.

Контекстное окно тоже зависит от памяти: Ollama выбирает его автоматически по объёму видеопамяти — при видеопамяти меньше 24 ГиБ это 4 тысячи токенов, от 24 до 48 ГиБ — 32 тысячи, от 48 ГиБ — 256 тысяч. Для агентов, веб-поиска и кодовых инструментов документация рекомендует не меньше 64000 токенов — увеличить окно можно командой OLLAMA_CONTEXT_LENGTH=64000 ollama serve.

Запустить движок несложно. Устанавливаешь Ollama, проверяешь версию и тянешь первую модель под свою память:

Четыре команды — и локальная модель отвечает в терминале

LM Studio даёт то же самое через интерфейс: во вкладке Discover находишь и скачиваешь модель, во вкладке Chat загружаешь её в память — и можно общаться без терминала. На Mac для LM Studio нужен Apple Silicon и macOS 14 или новее, Mac на Intel не поддерживаются, рекомендуются от 16 ГБ памяти; на Mac с 8 ГБ работают только небольшие модели с умеренным контекстом. На Windows процессор должен поддерживать AVX2, рекомендуются от 16 ГБ оперативной памяти и от 4 ГБ видеопамяти.

Файл модели можно сжать квантизацией — это экономит память за счёт небольшой потери качества: fp16 даёт полную точность и ест больше всего памяти, q8_0 — хороший баланс, q4_0 — быстро и экономично, q2_k — агрессивное сжатие для слабого железа.

Движок даёт только нейросеть — агент получается, когда к модели подключают обвязку. Варианты: Bionic — отдельное приложение команды LM Studio, вышло 16 июля 2026 года для macOS, Windows и Linux, разбирает документы, PDF и таблицы в песочнице, работает с папкой проекта, показывает каждую правку диффом и делает автоматические контрольные точки для отката; кроме локальных моделей Bionic поддерживает и облачные открытые модели LM Studio Secure Cloud, но это уже отдельный платный аккаунт. Codex CLI от OpenAI умеет работать с Ollama: флаг --oss подключает его к локальному серверу, -m задаёт модель, по умолчанию gpt-oss:20b, а команда ollama launch codex настраивает связку за один шаг; документация рекомендует окно контекста не меньше 64000 токенов. Для своей обвязки и подключения к IDE есть плагин Continue с провайдерами контекста — код файла, diff, проблемы редактора, терминал, кодовая база — и консольный клиент aichat.

Для документов и баз знаний в компании отдельно собирают поиск: гибридный подход — сначала BM25 (классический текстовый поиск по словам), затем поиск по векторным эмбеддингам, затем переранжирование более тяжёлой моделью. Для этого поднимают свой сервис: с GPU — vLLM с моделью BGE-m3 для векторизации, без GPU — llama.cpp на CPU, медленнее, но работает. Есть и готовые надстройки с собственным интерфейсом — например, AnythingLLM с автоматическими векторными эмбеддингами для рабочего пространства.

Отдельно стоят десктопные агенты, которые называют себя локальными, но полагаются на облачные модели — это важно проверять до покупки, а не после. Один из таких держит данные и выполнение на устройстве, но сам описывает себя как агента «на основе облачных моделей» — то есть мозг у него не локальный, локальна только оболочка.

Кому подходит локальный агент, а кому хватит облака

Критерий простой: если данные не должны покидать компанию — коммерческая тайна, персональные данные, техническая документация — локальное размещение оправдано. Если такого ограничения нет, облако обычно проще и быстрее запустить, и там сразу доступны самые свежие модели.

У локального варианта есть цена помимо сервера. Нужна команда сопровождения — CIO, архитекторы решений, MLOps-инженеры, служба информационной безопасности. Автоматических обновлений моделей не будет, их придётся отдельно внедрять и тестировать, из-за этого модель отстаёт от облачной. Масштабирование тоже на тебе: если нагрузка вырастет, вычислительные ресурсы придётся расширять самому.

Насколько велика разница в масштабе, видно по кейсу закрытого контура: у заказчика был сервер с NVIDIA H200 и моделью Qwen 3.5 на примерно 122 миллиардах параметров — качество устраивало, но облачная модель отвечала за одну-три секунды, а локальная заметно дольше, и пришлось пересматривать всю стратегию промптов и дробить генерацию на чанки, чтобы ответ не казался зависшим. Агент в этом проекте состоит из примерно семидесяти независимых модулей и больше тридцати семи инструментов — это уровень корпоративной платформы, а не личного ноутбука.

Поэтому для эксперта или небольшого бизнеса из запроса — клиники, юрфирмы, агентства — редко имеет смысл повторять такую конструкцию целиком. Разумный средний путь — гибридная архитектура: часть инструментов и данных, которые по-настоящему чувствительны, держать локально, а остальное — в облаке, где это быстрее и дешевле.

Во что это обходится на практике

Для одного человека с рабочим компьютером счёт короткий. Ollama и LM Studio бесплатны, платишь электричеством и уже купленным железом — без подписки и без оплаты за токены, пока хватает терпения ждать ответа.

Для компании счёт длиннее. В капитальные затраты входят сам GPU-сервер, сетевое оборудование — коммутатор, выделенный DMZ-шлюз, система хранения для моделей, документов и логов, средства журналирования и мониторинга. Отдельно идёт настройка — интеграция с CRM, ERP, ITSM и внутренними базами, подключение API, разграничение доступа агента, изоляция компонентов. И постоянные эксплуатационные расходы — обновление ПО и моделей, обслуживание серверов, мониторинг, резервное копирование, информационная безопасность, электропитание и охлаждение.

В кейсе закрытого контура даже деплой пришлось пересобирать: вместо Git и CI/CD — свой скрипт, который сравнивает манифест с тем, что реально лежит на сервере, показывает план изменений и только потом применяет его. Поиск по документации пришлось поднимать отдельным сервисом: первичная индексация пяти тысяч с лишним файлов заняла примерно столько же времени, что и в облаке, а вот обновления без вебхука потребовали отдельного скрипта. Часть мониторинга — алерты в мессенджеры — просто не прижилась без интернета, и это осталось зоной ручного контроля.

Облако в этом сравнении меняет капитальные расходы на операционные: платишь за токены или за GPU-часы по факту использования, без закупки железа. В cloud.ru это выглядит как готовые сервисы — Evolution AI Agents для создания и эксплуатации агентов и Evolution Foundation Models для доступа к готовым моделям по API.

Что выбрал бы я

Я вайбкожу с 30 апреля 2025 года — и всё, что я собираю для чужого бизнеса: агентов, которые слушают звонки и сами делают следующий шаг, сайты под поиск, ботов вместо рутины в Word и Excel, — почти всегда через облачные модели. Для большинства задач это проще и быстрее, и первый продукт за вечер полезнее месяца подготовки инфраструктуры.

Локальный агент на весь бизнес — это отдельный проект с командой и сервером, и для клиники или юрфирмы из этой статьи он обычно избыточен. Разумнее начать с вопроса: какая именно часть твоих данных не должна покидать компьютер — конкретные карточки пациентов, конкретные договоры. Для этой части достаточно поставить Ollama или LM Studio на одну машину и дать агенту доступ только к нужной папке, а остальную работу — рутину, черновики, переписку — оставить облачному агенту. Рутину отдаёшь машине, решения и то, что действительно требует закрытого контура, — оставляешь при себе.

Промпт

Опиши по пунктам, какие данные моего бизнеса (клиника, юрфирма, агентство — уточни, какое именно) не должны уходить за пределы компьютера или сервера, и почему. Дальше оцени: достаточно ли для этих задач локальной модели на том железе, что у меня уже есть, или нужен отдельный сервер.

Промпт

Сравни для задачи [опиши задачу] три варианта: локальный агент через Ollama на моём компьютере, локальный агент через LM Studio с готовой обвязкой, и облачный агент. Для каждого укажи, что я выигрываю и что теряю именно для моей задачи.

Вопросы и ответы

Чем локальный ИИ-агент отличается от локальной нейросети?

Нейросеть просто отвечает текстом в чате. Агент получает сверху инструменты — доступ к файлам, терминалу, поиску, — цикл выполнения, в котором сам решает, что делать дальше, и права на действия. Без этой обвязки модель только подскажет команду, но не выполнит её.

Сколько памяти нужно для локального ИИ-агента?

Рабочий минимум — 16 ГБ: туда помещаются qwen3:8b и gpt-oss:20b. При 8 ГБ работают только небольшие модели вроде Gemma 3 на 4 млрд параметров — для агента со сложной задачей этого мало. Для крупных моделей вроде gpt-oss:120b нужна видеокарта на 80 ГБ.

Безопасен ли локальный ИИ-агент для бизнеса с чувствительными данными?

Да, если модель и все инструменты целиком локальные — текст запроса, файлы и код не уходят на сторонние серверы, что важно и по 152-ФЗ. Но это нужно проверять по каждому инструменту отдельно: некоторые облачные функции в «локальных» программах всё равно отправляют данные на сторону, а некоторые агенты, которые называют себя локальными, на самом деле построены на облачных моделях.