Простой ИИ-агент: права, данные, проверка
Дополнительный материал для тех, кто уже работает с ИИ или программирует. Продолжает материал первого дня «От чата к агенту». Здесь разбирается, как ограничить последствия ошибки агента в инженерной задаче: какие инструменты и разрешения ему дать, к каким данным открыть доступ и как проверить результат. Образец описания агента – документ 5-5 дополнения к учебному кейсу.
1. Начать с самого простого
Прежде чем строить агента, проверьте, нужен ли он. Если задача всегда идёт по одним и тем же шагам, достаточно цепочки запросов или схемы в конструкторе. Агент нужен там, где следующий шаг зависит от того, что найдено на предыдущем. Руководство разработчиков Anthropic по построению агентов предупреждает о цене самостоятельности [37]:
«The autonomous nature of agents means higher costs, and the potential for compounding errors. We recommend extensive testing in sandboxed environments, along with the appropriate guardrails.»
Перевод: «Самостоятельность агентов означает более высокие затраты и возможность накопления ошибок. Мы рекомендуем тщательно испытывать их в изолированной среде, применяя соответствующие защитные ограничения.» – Anthropic, Building effective agents, 2024 [37]
2. Инструменты и разрешения
Узкие инструменты вместо универсальных. Инструмент «найти пункт ТЗ по номеру» безопаснее, чем «выполнить любую команду» или «открыть любой адрес в интернете». Узкий инструмент сам ограничивает, что агент может сделать, даже если модель ошиблась или её сбили с толку.
Права у учётной записи агента, а не в тексте инструкции. Агент работает под своей учётной записью с минимальными правами: читать нужные документы, писать только в свою область черновиков. Проверяет права сервис, к которому агент обращается. Инструкция «не меняй ТЗ» полезна, но не защищает: модель продолжает текст, а не исполняет правила. В исследованиях последних лет описана общая стратегия защиты [49]:
«Recent work (2024 to 2026) has converged on a strategy for defending tool-using LLM agents against indirect prompt injection: rather than training the model to refuse malicious instructions, enforce security outside the model with a deterministic policy that mediates the agent's actions.»
Перевод: «В работах последних лет (с 2024 по 2026 год) сформировалась общая стратегия защиты агентов с инструментами от косвенного внедрения команд: вместо обучения модели отказу от вредоносных указаний предлагается применять вне модели детерминированную политику безопасности, которая контролирует действия агента.» – Narisetty и соавт., 2026, препринт arXiv [49]
Те же авторы предупреждают: такие защиты пока проверены в основном на постоянных наборах атак, и против атакующего, который подстраивается под защиту, их нужно испытывать отдельно [49].
Что сразу, что с подтверждением. Обратимые действия (найти, посчитать, создать черновик) агент выполняет сам. Необратимые (отправить, изменить статус, исправить документ) – только после подтверждения человека. В. Малаканов на ИИ-митапе советовал начинать с действия, которое легко отменить [41]. А. Морозов сформулировал правило в общем виде: «Опасность агента пропорциональна тому, что он умеет делать без подтверждения» [40].
Подтверждение должно показывать настоящее действие. Если окно подтверждения заполняет сам агент своими словами, человек одобряет пересказ, а не действие. Исследователи описывают это как уязвимость [23]:
«Coding agents gate consequential actions behind a human-in-the-loop approval dialog, but the dialog is narrated by the agent itself: the human approves a summary the agent writes.»
Перевод: «Агенты для программирования запрашивают подтверждение человека перед действиями с существенными последствиями, но текст в окне подтверждения пишет сам агент: человек одобряет его пересказ.» – Weng, 2026, препринт arXiv [23]
Отсюда правило: в окне подтверждения – точные параметры, которые сформировала программа: какой документ, какая запись, какой текст. Если параметры изменились, подтверждение нужно заново.
3. Доступ к данным
- Только нужные документы. Для разбора замечаний по ЭС-24 агенту нужны раздел 4 ТЗ, описание узла, перечень замечаний и протоколы этого узла. Остальной архив ему не нужен.
- Пароли и ключи – вне контекста. Агент не должен видеть то, что ему не нужно для задачи: тогда он не сможет это и выдать.
- Чужой текст – данные, а не команды. Протокол, письмо, страница из интернета могут содержать строку, похожую на указание. Агент обрабатывает её как содержимое документа, а не как указание: останавливается до любых записей, показывает строку человеку и продолжает только по его решению. Подробно о скрытых командах – тема 2.1.
- Журнал без секретов. Записывается каждый вызов инструмента: что, с какими параметрами, на каком основании, результат. Паролей и ключей в журнале нет.
Для тех, кто будет проектировать такие системы, полезна работа о шаблонах архитектуры агентов, устойчивых к скрытым командам [50]. Один из подходов, описанных в литературе, – отделить управление от данных: план действий строится по запросу пользователя, а документы, которые агент читает по дороге, не могут этот план изменить [27].
4. Пять точек контроля
Удобно проверять агента в пяти местах. Это учебная схема, а не требование какого-либо стандарта.
| Точка | Что проверить | Пример для разбора замечаний ЭС-24 |
|---|---|---|
| 1. Запрос | Кто обращается, допустима ли задача, разрешены ли данные | Инженер службы, замечание по узлу ЭС-24 |
| 2. Внешний материал | Откуда документ, какая редакция, нет ли посторонних указаний | Протокол испытаний, редакция ТЗ указана |
| 3. Сценарий | Какие шаги и инструменты допустимы, лимит шагов, остановка | Не больше 10 шагов, стоп при противоречии |
| 4. Действие | Операция, объект, параметры, получатель – перед каждым вызовом | Запись только в область черновиков |
| 5. Ответ | Числа, единицы, ссылки на пункты, нет ли лишних сведений | 85 мА и 40 мА совпадают с исходными, п. 4.3 существует |
Для необратимых действий проверка перед выполнением (точка 4) важнее проверки ответа (точка 5): отправленное письмо уже не отменить.
5. Стоп-условия
Агент останавливается и передаёт вопрос человеку, если:
- нет данных для вывода;
- данные противоречат друг другу, например две версии ТЗ с одинаковой редакцией и разными значениями;
- единицы несовместимы;
- в документе встретилась строка, похожая на команду;
- исчерпан лимит шагов;
- действие требует подтверждения, а человек его не дал.
С. Скидан на митапе записал это коротко: «Стоп-условия: Нет данных, конфликт или риск» [42]. Агент, который в сомнительном случае выдумывает ответ, опаснее агента, который честно останавливается.
6. Как проверить результат
Проверяется не только итоговый текст, но и то, что агент сделал по дороге. Для этого нужен набор контрольных случаев с заранее известным правильным исходом. Шесть случаев для агента разбора замечаний ЭС-24 – в документе 5-5 дополнения к кейсу: норма, расхождение, посторонняя строка в протоколе, попытка записи в чужую область, повтор после сбоя, противоречие в данных.
Правила работы с набором:
- оценивать отдельно полезность (задача решена) и безопасность (ничего лишнего не сделано). Агент, который ничего не делает, безопасен, но бесполезен;
- после смены модели, инструкции или инструментов прогонять весь набор заново;
- случаи с правами и повторами проверять на стенде с настоящими правами, в чате их можно только обсудить;
- записывать вызовы инструментов, решения, принятые по правилам безопасности, и итоговое состояние: по одному финальному ответу не видно лишних действий, выполненных в процессе работы.
7. Упражнение
Опишите агента для одной задачи своего подразделения по образцу документа 5-5. Обязательно:
- Что агент делает и чего не делает.
- Какие данные получает и откуда.
- Инструменты: для каждого – что он умеет и с какими правами.
- Каких инструментов у агента нет и почему.
- Где подтверждение человека и что человек видит.
- Стоп-условия.
- Не меньше четырёх контрольных случаев, один из них – с посторонней строкой-командой в документе.
Агент рассчитан на внутреннюю инфраструктуру организации. Личные учётные записи, личные ключи доступа к внешним моделям и домашние компьютеры в описании не используются.
Источники
- [23] Weng X. What You Approve Is What Executes: Consent Integrity for Black-Box LLM Agents. 2026. Препринт arXiv. https://doi.org/10.48550/arXiv.2606.02668
- [27] Debenedetti E., Shumailov I., et al. Defeating Prompt Injections by Design // 2026 IEEE Conference on Secure and Trustworthy Machine Learning (SaTML). 2026. https://doi.org/10.1109/SaTML68715.2026.00040
- [37] Anthropic. Building effective agents. 19.12.2024. https://www.anthropic.com/research/building-effective-agents
- [40] Морозов А. AI в безопасности и безопасность в AI. Доклад на ИИ-митапе ЦГУ, 06.11.2026 (презентация доклада).
- [41] Малаканов В. Код, Jev, LLM, WebMCP. Доклад на ИИ-митапе ЦГУ, 06.11.2026 (презентация доклада).
- [42] Скидан С. Как создать Агента-оператора. Доклад на ИИ-митапе ЦГУ, 06.11.2026 (презентация доклада).
- [49] Narisetty P., Kore S., et al. Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents. 2026. Препринт arXiv. https://doi.org/10.48550/arXiv.2606.26479
- [50] Beurer-Kellner L., Creţu A.-M., et al. Design Patterns for Securing LLM Agents against Prompt Injections. 2025. Препринт arXiv. https://doi.org/10.48550/arXiv.2506.08837
Полный список источников дня – в файле «Источники дня» в папке дня.
Автор курса
Виталий Пиков
- Архитектор информационной безопасности • РБПО • DevSecOps • AppSec
- Лектор и автор образовательных программ по ИБ и РБПО
Телефон: +7 (963) 782-92-78 · E-mail: vitaly@pikov.expert · Сайт: https://pikov.expert · Telegram: @UnderLineSecurity