Экономика агентов13 окт · 5 мин

Риски ИИ-агентов: что ломается, когда агент действует сам

Что может пойти не так, когда агент действует без подтверждения на каждом шаге: ошибки, атаки на агентов, мошенничество и кто за это в итоге платит.

Олег ЕмельяновДелаю продукты с помощью ИИ

Агент получает доступ к твоей почте, календарю, кошельку — и начинает действовать сам, без подтверждения на каждый шаг. Это и есть экономика агентов, которая уже наступает: агенты заказывают работу друг у друга, платят друг другу в рамках своего digital ID, представляют тебя или твой бизнес вовне — витрина, заказы, звонки, почта. У этого есть цена. Риски ИИ-агентов — не абстрактная тема про «безопасность ИИ», а конкретные вещи: агент ошибается, агента атакуют, агента используют для мошенничества. Разбираюсь, что может пойти не так и кто в итоге платит.

Ошибки агентов

Агент не работает по жёсткому скрипту — он принимает решения на каждом шаге: какой файл открыть, какую команду выполнить, кому отправить письмо, какой платёж одобрить. Исследователи, разрабатывающие VEPA — систему защитных правил для долгоживущих агентов, — прямо формулируют проблему: агенты всё чаще работают с чувствительными ресурсами, личными документами, изменяемым состоянием системы, и это создаёт серьёзные риски безопасности. Сложность в том, что правила безопасности редко бывают полными до запуска агента в работу — новые риски вылезают уже во время эксплуатации, а действие агента к этому моменту может оказаться необратимым.

Отсюда стандартный защитный слой — guardrails, детерминированные проверки, которые должны разрешать или запрещать действие агента до того, как оно выполнено, а не после.

Guardrails проверяют действие агента до того, как оно случится

Слабое место таких правил — они пишутся заранее и не успевают за новыми рисками. Если правило не предусмотрело конкретную ситуацию, агент либо получает слишком много свободы, либо упирается в отказ там, где действие на самом деле было безопасным.

Атаки и мошенничество

Отдельная категория риска — не ошибка самого агента, а атака на него снаружи: чужой агент или человек пытается заставить твоего агента сделать то, что ему не положено — слить данные, одобрить платёж, выполнить вредоносную команду под видом обычной задачи.

Масштаб этой проблемы виден по рынку защиты. Израильский стартап Rein Security строит runtime-инструменты именно для защиты корпоративных ИИ-агентов от атак — и привлёк раунд Series A на $25 млн, подняв общее финансирование до $35 млн.

Rein Security подняла раунд, чтобы расширить защиту корпоративных агентов

У компании уже есть клиенты в масштабе: платформа защищает тысячи агентов, которые совместно выполняют миллионы действий, а выручка самой компании выросла в восемь раз с января.

Деньги инвесторов и рост клиентской базы у охранного стартапа — хороший косвенный индикатор: бизнес уже не рассматривает атаки на агентов как гипотетический риск, а покупает защиту от них прямо сейчас, и платит за это реальные деньги.

Кто отвечает

В экономике агентов у каждого агента — свой digital ID, кошелёк и права внутри заданных границ. Это ключевой момент для ответственности: агент действует не сам по себе, а от имени конкретного человека или бизнеса, который выпустил его в мир. Если агент ошибся или его обманули, платит не «ИИ» — платит владелец агента, тот, кто дал ему кошелёк и права действовать самостоятельно.

Поэтому формальная проверка правил становится не технической деталью, а вопросом ответственности. В VEPA, например, система принимает патч к правилам только через детерминированный верификатор, который проверяет структурную корректность и отсутствие конфликтов, и дополнительно активирует новое правило только тогда, когда накопилось достаточно подтверждающих данных — чтобы одно подозрительное наблюдение не могло сразу изменить поведение агента. Это способ сделать решения агента объяснимыми и воспроизводимыми: если что-то пошло не так, можно посмотреть, по какому правилу агент принял решение, а не гадать, что там надумала модель.

Как защититься

Пока нет единого стандарта ответственности для агентов, разумно исходить из того, что ты несёшь ответственность за своего агента целиком — как за сотрудника с доступом к счёту компании.

Первое — не раздавай агенту права шире, чем нужна конкретная задача: доступ к одному сервису, а не ко всем сразу. Второе — там, где действие необратимо: платёж, отправка письма клиенту, удаление данных — ставь явное подтверждение человеком, а не доверяй агенту финальное решение. Третье — выбирай инструменты и платформы, у которых есть журнал решений агента и возможность задним числом посмотреть, почему он выбрал то или это действие. Без такого журнала разобраться, кто виноват, когда что-то пошло не так, будет почти невозможно — а значит, и платить придётся, не понимая за что.

Почему это не повод ждать

Несмотря на риски, экономика агентов не остановится — слишком большая экономия и скорость, которую она даёт бизнесу и людям. Рынок защиты агентов растёт вместе с рынком самих агентов: там, где появляются агенты с кошельком и правами, тут же появляются инструменты защиты от атак на них.

Ждать, пока риски исчезнут сами, не вариант — они не исчезнут, они будут меняться вместе с тем, как агенты получают больше автономии. Я считаю, разумнее начать сейчас: завести своему агенту узкие права, настроить подтверждение необратимых действий и держать журнал решений под рукой. Тогда, когда риск реализуется — а он реализуется, — у тебя будет что показать и что исправить, а не только вопрос «как это вообще произошло».

Вопросы и ответы

Какие риски у ИИ-агентов?

Агент может ошибиться при выполнении задачи, стать целью атаки, которая заставит его выполнить вредоносное действие, или быть использован для мошенничества — и расплачиваться за это придётся владельцу агента.

Кто отвечает за ошибки ИИ-агента?

Агент действует от имени конкретного человека или бизнеса с его digital ID и правами, поэтому ответственность — на владельце агента, а не на самом агенте.

Как защититься от рисков ИИ-агентов?

Ограничивать права агента под конкретную задачу, требовать подтверждение необратимых действий человеком и выбирать инструменты с журналом решений и защитой от атак на агентов.