Простой ИИ-агент: права, данные, проверка

Дополнительный материал для тех, кто уже работает с ИИ или программирует. Продолжает материал первого дня «От чата к агенту». Здесь разбирается, как ограничить последствия ошибки агента в инженерной задаче: какие инструменты и разрешения ему дать, к каким данным открыть доступ и как проверить результат. Образец описания агента – документ 5-5 дополнения к учебному кейсу.

1. Начать с самого простого

Прежде чем строить агента, проверьте, нужен ли он. Если задача всегда идёт по одним и тем же шагам, достаточно цепочки запросов или схемы в конструкторе. Агент нужен там, где следующий шаг зависит от того, что найдено на предыдущем. Руководство разработчиков Anthropic по построению агентов предупреждает о цене самостоятельности [37]:

«The autonomous nature of agents means higher costs, and the potential for compounding errors. We recommend extensive testing in sandboxed environments, along with the appropriate guardrails.»

Перевод: «Самостоятельность агентов означает более высокие затраты и возможность накопления ошибок. Мы рекомендуем тщательно испытывать их в изолированной среде, применяя соответствующие защитные ограничения.» – Anthropic, Building effective agents, 2024 [37]

2. Инструменты и разрешения

Узкие инструменты вместо универсальных. Инструмент «найти пункт ТЗ по номеру» безопаснее, чем «выполнить любую команду» или «открыть любой адрес в интернете». Узкий инструмент сам ограничивает, что агент может сделать, даже если модель ошиблась или её сбили с толку.

Права у учётной записи агента, а не в тексте инструкции. Агент работает под своей учётной записью с минимальными правами: читать нужные документы, писать только в свою область черновиков. Проверяет права сервис, к которому агент обращается. Инструкция «не меняй ТЗ» полезна, но не защищает: модель продолжает текст, а не исполняет правила. В исследованиях последних лет описана общая стратегия защиты [49]:

«Recent work (2024 to 2026) has converged on a strategy for defending tool-using LLM agents against indirect prompt injection: rather than training the model to refuse malicious instructions, enforce security outside the model with a deterministic policy that mediates the agent's actions.»

Перевод: «В работах последних лет (с 2024 по 2026 год) сформировалась общая стратегия защиты агентов с инструментами от косвенного внедрения команд: вместо обучения модели отказу от вредоносных указаний предлагается применять вне модели детерминированную политику безопасности, которая контролирует действия агента.» – Narisetty и соавт., 2026, препринт arXiv [49]

Те же авторы предупреждают: такие защиты пока проверены в основном на постоянных наборах атак, и против атакующего, который подстраивается под защиту, их нужно испытывать отдельно [49].

Что сразу, что с подтверждением. Обратимые действия (найти, посчитать, создать черновик) агент выполняет сам. Необратимые (отправить, изменить статус, исправить документ) – только после подтверждения человека. В. Малаканов на ИИ-митапе советовал начинать с действия, которое легко отменить [41]. А. Морозов сформулировал правило в общем виде: «Опасность агента пропорциональна тому, что он умеет делать без подтверждения» [40].

Подтверждение должно показывать настоящее действие. Если окно подтверждения заполняет сам агент своими словами, человек одобряет пересказ, а не действие. Исследователи описывают это как уязвимость [23]:

«Coding agents gate consequential actions behind a human-in-the-loop approval dialog, but the dialog is narrated by the agent itself: the human approves a summary the agent writes.»

Перевод: «Агенты для программирования запрашивают подтверждение человека перед действиями с существенными последствиями, но текст в окне подтверждения пишет сам агент: человек одобряет его пересказ.» – Weng, 2026, препринт arXiv [23]

Отсюда правило: в окне подтверждения – точные параметры, которые сформировала программа: какой документ, какая запись, какой текст. Если параметры изменились, подтверждение нужно заново.

3. Доступ к данным

Для тех, кто будет проектировать такие системы, полезна работа о шаблонах архитектуры агентов, устойчивых к скрытым командам [50]. Один из подходов, описанных в литературе, – отделить управление от данных: план действий строится по запросу пользователя, а документы, которые агент читает по дороге, не могут этот план изменить [27].

4. Пять точек контроля

Удобно проверять агента в пяти местах. Это учебная схема, а не требование какого-либо стандарта.

Точка Что проверить Пример для разбора замечаний ЭС-24
1. Запрос Кто обращается, допустима ли задача, разрешены ли данные Инженер службы, замечание по узлу ЭС-24
2. Внешний материал Откуда документ, какая редакция, нет ли посторонних указаний Протокол испытаний, редакция ТЗ указана
3. Сценарий Какие шаги и инструменты допустимы, лимит шагов, остановка Не больше 10 шагов, стоп при противоречии
4. Действие Операция, объект, параметры, получатель – перед каждым вызовом Запись только в область черновиков
5. Ответ Числа, единицы, ссылки на пункты, нет ли лишних сведений 85 мА и 40 мА совпадают с исходными, п. 4.3 существует

Для необратимых действий проверка перед выполнением (точка 4) важнее проверки ответа (точка 5): отправленное письмо уже не отменить.

5. Стоп-условия

Агент останавливается и передаёт вопрос человеку, если:

С. Скидан на митапе записал это коротко: «Стоп-условия: Нет данных, конфликт или риск» [42]. Агент, который в сомнительном случае выдумывает ответ, опаснее агента, который честно останавливается.

6. Как проверить результат

Проверяется не только итоговый текст, но и то, что агент сделал по дороге. Для этого нужен набор контрольных случаев с заранее известным правильным исходом. Шесть случаев для агента разбора замечаний ЭС-24 – в документе 5-5 дополнения к кейсу: норма, расхождение, посторонняя строка в протоколе, попытка записи в чужую область, повтор после сбоя, противоречие в данных.

Правила работы с набором:

7. Упражнение

Опишите агента для одной задачи своего подразделения по образцу документа 5-5. Обязательно:

  1. Что агент делает и чего не делает.
  2. Какие данные получает и откуда.
  3. Инструменты: для каждого – что он умеет и с какими правами.
  4. Каких инструментов у агента нет и почему.
  5. Где подтверждение человека и что человек видит.
  6. Стоп-условия.
  7. Не меньше четырёх контрольных случаев, один из них – с посторонней строкой-командой в документе.

Агент рассчитан на внутреннюю инфраструктуру организации. Личные учётные записи, личные ключи доступа к внешним моделям и домашние компьютеры в описании не используются.

Источники

Полный список источников дня – в файле «Источники дня» в папке дня.


Автор курса

Виталий Пиков

Телефон: +7 (963) 782-92-78 · E-mail: vitaly@pikov.expert · Сайт: https://pikov.expert · Telegram: @UnderLineSecurity