Экономика агентов13 окт · 5 мин

Права ИИ-агента: что можно доверить и кто отвечает за ошибку

Разбираюсь, что можно поручить ИИ-агенту, как оформить ему права и кто отвечает, если он ошибётся — и что об этом уже говорит закон.

Олег ЕмельяновДелаю продукты с помощью ИИ

Права ИИ-агента — не абстракция из фантастики, а вопрос, который встаёт у каждого, кто подключает агента к почте, календарю или платёжному сервису: что ему можно поручить, как оформить полномочия и кто отвечает, если он ошибётся. Доверенность агенту — ближайшая человеческая аналогия: ты даёшь право действовать от своего имени в заданных границах, а не передаёшь контроль целиком. Дальше — что из этого следует на практике и какие права агента стоит давать, а какие нет.

Что агент делает от твоего имени

Я считаю, что экономика агентов наступает уже сейчас. Рынок, где агенты сами заказывают работу друг у друга и платят друг другу в рамках цифрового ID, — не далёкая перспектива, а следующий шаг после того, как агент научился бронировать, покупать и отвечать на письма за тебя. У каждого человека и бизнеса рано или поздно будет свой агент или команда агентов, которые представляют его вовне: витрина, заказы, звонки, почта.

Это значит, что агент действует не как инструмент, который запускаешь и ждёшь результата, а как представитель — с кошельком, правами и ответственностью в заданных границах. Разница принципиальная: инструмент выполняет команду один раз и останавливается, представитель продолжает действовать, пока ты сам не вмешаешься.

Как дать права

На практике права агента — это не один переключатель «включено-выключено», а набор ограничений: какую сумму можно потратить, с кем можно переписываться, какие действия требуют твоего подтверждения, а какие агент выполняет сам. Чем точнее границы, тем проще потом разобраться, что пошло не так и кто за это отвечает.

Самое слабое место — не выдача прав, а их отзыв. Разрешение должно сниматься мгновенно, и агент должен это заметить: остановить то, что уже начал делать, не трогать то, что отзыв не касается, и продолжить только после того, как ситуация прояснится.

Именно это должен уметь агент, которому доверили действовать самому.

Ответственность за ошибки агента

Насколько агенты реально умеют слушаться команды «стоп», проверили исследователи в тесте NAQD-Env — синтетической среде, где три модели с открытыми весами, Qwen2.5-7B, Qwen2.5-3B и Llama-3.1-8B, должны были вовремя приостанавливать действия при отзыве разрешения или смене условий.

Результат неутешительный.

Qwen2.5-7B реже остальных совершала запрещённые действия, но при этом выполняла меньше полезной работы и хуже сохраняла то, что отзыв разрешения не касался напрямую — за осторожность модель платит пользой. Дополнительное обучение поднимало точность решений у Qwen2.5-3B с 0,45-0,54 до 0,83-0,92, но даже там модель теряла отчётность о событиях и отзывала права там, где не нужно, если в обучении не хватало примеров.

Вывод практический: пока агент не продемонстрировал тебе, что умеет корректно останавливаться по команде, не давай ему прав, которые дорого отменять постфактум, — платёж, отправленное письмо, заказ у третьей стороны.

Что говорит закон

Закона, который прямо регулирует права ИИ-агента, пока нет ни в одной стране — есть только предложения и добровольные обязательства компаний. Президент Microsoft Брэд Смит сравнил нынешнее регулирование ИИ с регулированием бытовых товаров:

Президент Microsoft сравнивает надзор за ИИ с надзором за стиральными машинами и молоком.

Смит предлагает конкретные меры: обязательный «аварийный тормоз» (kill switch), который можно нажать, если люди теряют контроль над системой; юридическую обязанность сообщать о взломе, если систему скомпрометировал вышедший из-под контроля агент; независимую проверку модели сторонними экспертами перед выпуском. Он считает, что добровольного саморегулирования недостаточно — оно работает только для ответственных компаний, а остальных некому проверить.

Шаг в эту сторону уже сделан: крупнейшие разработчики — OpenAI, Anthropic, Nvidia, SpaceX, Meta и Google — подписали в Белом доме документ, по которому обязались привлекать независимых аудиторов для оценки своих моделей. Сам Смит называет это «хорошим, но недостаточным» шагом. Пока это не закон, а договорённость компаний между собой, без санкций за нарушение.

Практический чек-лист

Пока закон не определил границы, их определяешь ты сам — и фиксируешь явно, в системе, а не в голове.

Дай агенту отдельный доступ, а не свой личный пароль или ключ — так его легко отозвать без последствий для остального.
Заранее установи лимит суммы и действий, который агент не может превысить без твоего явного подтверждения.
Требуй подтверждения на всё, что дорого отменить: платёж, отправленное письмо, заказ у третьей стороны.
Проверь, что агент реально останавливается по команде «стоп», прежде чем доверить ему что-то важное — не на словах, а на деле.
Веди журнал действий агента отдельно от своего — это тот самый инцидент-репорт, о котором говорит регулятор, только твой собственный.

Вопросы и ответы

Что можно поручить ИИ-агенту?

От твоего имени агент может бронировать, покупать, вести переписку, управлять подпиской — представлять тебя там, где раньше действовал ты сам: витрина, заказы, звонки, почта, кошелёк в рамках заданных лимитов.

Кто отвечает, если агент ошибся?

Формального закона об ответственности за ошибки ИИ-агента пока нет. Отвечает тот, кто выдал агенту права, — как по доверенности: ты описываешь границы полномочий заранее и фиксируешь действия агента, чтобы разобраться, если что-то пошло не так.

Как отозвать права у ИИ-агента?

Отзыв должен работать мгновенно, а агент должен на него реагировать: останавливать только затронутые действия, не трогать остальное и не продолжать работу, пока ситуация не прояснится. Тесты показывают, что сегодняшние модели справляются с этим плохо — проверяй это заранее, прежде чем доверить агенту что-то важное.