Скрытые команды и помощники по документам: как устроена защита
Дополнительный материал для тех, кто уже работает с ИИ и хочет понять, как защищают сами системы. Здесь нет инструкций по атакам. Цель – знать, какие вопросы задавать, когда в вашей организации появляется помощник по документам или агент.
1. Почему одной инструкции модели недостаточно
В лекции 2.1 мы видели: модель получает вашу просьбу и текст документа одним потоком и не всегда отличает данные от команд [1], [2]. Поэтому защита не может держаться только на инструкции для модели.
«Given the stochastic influence at the heart of the way models work, it is unclear if there are fool-proof methods of prevention for prompt injection.»
Перевод: «Поскольку в основе работы моделей лежит вероятностное поведение, неясно, существуют ли вообще надёжные способы предотвратить внедрение команд». – OWASP, LLM01:2025 [32]
Исследование 2025 года это подтверждает: восемь разных способов защиты от косвенного внедрения обошли атаками, подстроенными под каждую защиту [3].
2. Меры из перечня OWASP
Перечень рисков OWASP для приложений на языковых моделях (редакция 2025 года) называет семь мер, которые снижают последствия внедрения команд [32]. Пересказ по-русски:
| № | Мера | Что это значит на практике |
|---|---|---|
| 1 | Ограничить поведение модели | В системной инструкции описать роль, задачи и границы. Помогает, но обходится |
| 2 | Задать и проверять формат ответа | Требовать определённый формат и ссылки на источники, проверять соответствие обычной программой |
| 3 | Фильтровать вход и выход | Правила для чувствительных категорий, проверка того, подтверждается ли ответ найденными документами |
| 4 | Минимальные права | Собственные ключи доступа у приложения, функции выполняет программа, а не модель. Права модели – минимально необходимые |
| 5 | Подтверждение человеком | Для действий с последствиями – подтверждение перед выполнением |
| 6 | Отделять и помечать внешнее содержимое | Недоверенный текст явно отделяется от запроса пользователя |
| 7 | Испытания на атаки | Регулярные проверки, в которых модель считается недоверенным пользователем |
Меры 4 и 5 работают независимо от того, что модель прочитала в документе. Поэтому для действий с последствиями они надёжнее остальных (вывод автора курса). Ту же мысль коротко сформулировал на слайде доклада на отраслевом ИИ-митапе (ноябрь 2026) А. Субботин: «Просьба в тексте не спасет, спасет запрет» [39].
3. Пять точек контроля: учебная схема
Для разговора с разработчиками удобно представить обращение к помощнику как цепочку из пяти точек, где можно что-то проверить. Это учебная схема курса. Ни один стандарт её не требует.
| Точка | Что проверяют | Кто проверяет |
|---|---|---|
| 1. Запрос | Кто обращается, допустима ли задача, разрешены ли данные | Система доступа, правила |
| 2. Внешний материал | Источник, редакция, права на чтение, подозрительные инструкции | Программа до передачи модели |
| 3. Сценарий | Какие шаги и инструменты допустимы, когда остановиться | Настройки помощника |
| 4. Действие | Что именно делается, с каким объектом, кому отправляется | Сервис, который выполняет действие |
| 5. Ответ | Соответствие источникам, числа, единицы, не раскрыты ли данные | Программа и человек |
Последняя проверка ответа уже не отменит отправленное письмо. Поэтому для действий с последствиями главная – точка 4.
4. Защита помощника по документам
Для RAG к внедрению команд добавляется ещё одна угроза – подлог в самой базе. В исследовании 2024 года нескольких подложных текстов на вопрос хватало, чтобы в 90 % случаев получить нужный злоумышленнику ответ из базы с миллионами текстов [15].
А. Морозов на отраслевом ИИ-митапе перечислял меры защиты базы знаний [38]:
- права доступа на уровне документа: помощник отдаёт пользователю только то, что тот вправе читать;
- указание и проверка источника каждого ответа;
- сочетание поиска по смыслу и по ключевым словам;
- очистка документов при загрузке в базу;
- выявление аномалий в результатах поиска.
Спросите владельцев помощника в вашей организации:
- Какие документы загружены, кто и как их проверяет перед загрузкой?
- Как в базе отличаются действующие и отменённые редакции?
- Видит ли помощник только то, что мне разрешено читать?
- Показывает ли помощник документ и пункт для каждого ответа?
- Куда сообщать о неверном ответе?
5. Шлюзы безопасности ИИ: обзорно
Шлюз безопасности – промежуточная система между пользователями и моделями. Подробно о шлюзах – в модуле 5. Пока перечень мер из вебинара М. Горшкова о проблемах агентов в разработке (июль 2026) [42]:
- учёт всех используемых моделей и агентов;
- единая точка контроля всех запросов к модели;
- списки разрешённых и запрещённых инструментов, библиотек и сетевых ресурсов;
- проверка на внедрение команд и необычное поведение агента;
- маскирование чувствительных данных;
- контроль расхода.
Пример маскирования из доклада А. Морозова: система находит в журнале событий номер банковской карты, оставляет видимыми только последние цифры и сообщает разработчику [38].
Заявления разработчиков о том, что их продукт «не может» допустить утечку, стоит проверять: спрашивайте, кто, как и на каких испытаниях это подтвердил.
6. Упражнение для желающих
Возьмите документ 4 (письмо поставщика) и документ 6 (ПМИ) из дополнения к кейсу. Опишите на одной странице, как помощник по документам испытательной лаборатории должен обрабатывать письма поставщиков:
- какие документы он принимает и от кого;
- что он делает с текстом до передачи модели;
- что модель может сделать сама, а что только предложить;
- какие действия у него запрещены настройками;
- что увидит инженер, если в письме найдена строка, похожая на инструкцию.
В модуле 5 продолжим эту работу: разберём агентов и паспорт сценария.
Источники
Нумерация – по общему списку источников второго дня.
- [1] Greshake K., Abdelnabi S., et al. Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection // Proceedings of the 16th ACM Workshop on Artificial Intelligence and Security. 2023. https://doi.org/10.1145/3605764.3623985
- [2] Yi J., Xie Y., et al. Benchmarking and Defending against Indirect Prompt Injection Attacks on Large Language Models // Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.1. 2025. https://doi.org/10.1145/3690624.3709179
- [3] Zhan Q., Fang R., et al. Adaptive Attacks Break Defenses Against Indirect Prompt Injection Attacks on LLM Agents. 2025. Препринт arXiv. https://doi.org/10.48550/arXiv.2503.00061
- [15] Zou W., Geng R., et al. PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models. 2024. Препринт arXiv, версия v3 от 13.08.2024 (название и цитата – по этой версии). https://doi.org/10.48550/arXiv.2402.07867
- [32] OWASP Top 10 for LLM Applications 2025. LLM01:2025 Prompt Injection. https://github.com/OWASP/www-project-top-10-for-large-language-model-applications/blob/main/2_0_vulns/LLM01_PromptInjection.md
- [38] Морозов А. «AI в безопасности и безопасность в AI». Доклад на ИИ-митапе ЦГУ, 06.11.2026.
- [39] Субботин А. «Платформы для совместной работы с ИИ-агентами». Доклад на ИИ-митапе ЦГУ, 06.11.2026 (презентация доклада).
- [42] Горшков М. «Проблемы использования агентов в разработке». Вебинар УЦ «МАСКОМ» и PVS-Studio, 28.07.2026 (презентация выступления).
Автор курса
Виталий Пиков
- Архитектор информационной безопасности • РБПО • DevSecOps • AppSec
- Лектор и автор образовательных программ по ИБ и РБПО
Телефон: +7 (963) 782-92-78 · E-mail: vitaly@pikov.expert · Сайт: https://pikov.expert · Telegram: @UnderLineSecurity