# Скрытые команды и помощники по документам: как устроена защита

Дополнительный материал для тех, кто уже работает с ИИ и хочет понять, как защищают сами системы. Здесь нет инструкций по атакам. Цель – знать, какие вопросы задавать, когда в вашей организации появляется помощник по документам или агент.

## 1. Почему одной инструкции модели недостаточно

В лекции 2.1 мы видели: модель получает вашу просьбу и текст документа одним потоком и не всегда отличает данные от команд [1], [2]. Поэтому защита не может держаться только на инструкции для модели.

> «Given the stochastic influence at the heart of the way models work, it is unclear if there are fool-proof methods of prevention for prompt injection.»
>
> Перевод: «Поскольку в основе работы моделей лежит вероятностное поведение, неясно, существуют ли вообще надёжные способы предотвратить внедрение команд». – OWASP, LLM01:2025 [32]

Исследование 2025 года это подтверждает: восемь разных способов защиты от косвенного внедрения обошли атаками, подстроенными под каждую защиту [3].

## 2. Меры из перечня OWASP

Перечень рисков OWASP для приложений на языковых моделях (редакция 2025 года) называет семь мер, которые снижают последствия внедрения команд [32]. Пересказ по-русски:

| № | Мера | Что это значит на практике |
|---|---|---|
| 1 | Ограничить поведение модели | В системной инструкции описать роль, задачи и границы. Помогает, но обходится |
| 2 | Задать и проверять формат ответа | Требовать определённый формат и ссылки на источники, проверять соответствие обычной программой |
| 3 | Фильтровать вход и выход | Правила для чувствительных категорий, проверка того, подтверждается ли ответ найденными документами |
| 4 | Минимальные права | Собственные ключи доступа у приложения, функции выполняет программа, а не модель. Права модели – минимально необходимые |
| 5 | Подтверждение человеком | Для действий с последствиями – подтверждение перед выполнением |
| 6 | Отделять и помечать внешнее содержимое | Недоверенный текст явно отделяется от запроса пользователя |
| 7 | Испытания на атаки | Регулярные проверки, в которых модель считается недоверенным пользователем |

Меры 4 и 5 работают независимо от того, что модель прочитала в документе. Поэтому для действий с последствиями они надёжнее остальных (вывод автора курса). Ту же мысль коротко сформулировал на слайде доклада на отраслевом ИИ-митапе (ноябрь 2026) А. Субботин: «Просьба в тексте не спасет, спасет запрет» [39].

## 3. Пять точек контроля: учебная схема

Для разговора с разработчиками удобно представить обращение к помощнику как цепочку из пяти точек, где можно что-то проверить. Это учебная схема курса. Ни один стандарт её не требует.

| Точка | Что проверяют | Кто проверяет |
|---|---|---|
| 1. Запрос | Кто обращается, допустима ли задача, разрешены ли данные | Система доступа, правила |
| 2. Внешний материал | Источник, редакция, права на чтение, подозрительные инструкции | Программа до передачи модели |
| 3. Сценарий | Какие шаги и инструменты допустимы, когда остановиться | Настройки помощника |
| 4. Действие | Что именно делается, с каким объектом, кому отправляется | Сервис, который выполняет действие |
| 5. Ответ | Соответствие источникам, числа, единицы, не раскрыты ли данные | Программа и человек |

Последняя проверка ответа уже не отменит отправленное письмо. Поэтому для действий с последствиями главная – точка 4.

## 4. Защита помощника по документам

Для RAG к внедрению команд добавляется ещё одна угроза – подлог в самой базе. В исследовании 2024 года нескольких подложных текстов на вопрос хватало, чтобы в 90 % случаев получить нужный злоумышленнику ответ из базы с миллионами текстов [15].

А. Морозов на отраслевом ИИ-митапе перечислял меры защиты базы знаний [38]:

- права доступа на уровне документа: помощник отдаёт пользователю только то, что тот вправе читать;
- указание и проверка источника каждого ответа;
- сочетание поиска по смыслу и по ключевым словам;
- очистка документов при загрузке в базу;
- выявление аномалий в результатах поиска.

Спросите владельцев помощника в вашей организации:

1. Какие документы загружены, кто и как их проверяет перед загрузкой?
2. Как в базе отличаются действующие и отменённые редакции?
3. Видит ли помощник только то, что мне разрешено читать?
4. Показывает ли помощник документ и пункт для каждого ответа?
5. Куда сообщать о неверном ответе?

## 5. Шлюзы безопасности ИИ: обзорно

Шлюз безопасности – промежуточная система между пользователями и моделями. Подробно о шлюзах – в модуле 5. Пока перечень мер из вебинара М. Горшкова о проблемах агентов в разработке (июль 2026) [42]:

- учёт всех используемых моделей и агентов;
- единая точка контроля всех запросов к модели;
- списки разрешённых и запрещённых инструментов, библиотек и сетевых ресурсов;
- проверка на внедрение команд и необычное поведение агента;
- маскирование чувствительных данных;
- контроль расхода.

Пример маскирования из доклада А. Морозова: система находит в журнале событий номер банковской карты, оставляет видимыми только последние цифры и сообщает разработчику [38].

Заявления разработчиков о том, что их продукт «не может» допустить утечку, стоит проверять: спрашивайте, кто, как и на каких испытаниях это подтвердил.

## 6. Упражнение для желающих

Возьмите документ 4 (письмо поставщика) и документ 6 (ПМИ) из дополнения к кейсу. Опишите на одной странице, как помощник по документам испытательной лаборатории должен обрабатывать письма поставщиков:

- какие документы он принимает и от кого;
- что он делает с текстом до передачи модели;
- что модель может сделать сама, а что только предложить;
- какие действия у него запрещены настройками;
- что увидит инженер, если в письме найдена строка, похожая на инструкцию.

В модуле 5 продолжим эту работу: разберём агентов и паспорт сценария.

## Источники

Нумерация – по общему списку источников второго дня.

- [1] Greshake K., Abdelnabi S., et al. Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection // Proceedings of the 16th ACM Workshop on Artificial Intelligence and Security. 2023. https://doi.org/10.1145/3605764.3623985
- [2] Yi J., Xie Y., et al. Benchmarking and Defending against Indirect Prompt Injection Attacks on Large Language Models // Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.1. 2025. https://doi.org/10.1145/3690624.3709179
- [3] Zhan Q., Fang R., et al. Adaptive Attacks Break Defenses Against Indirect Prompt Injection Attacks on LLM Agents. 2025. Препринт arXiv. https://doi.org/10.48550/arXiv.2503.00061
- [15] Zou W., Geng R., et al. PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models. 2024. Препринт arXiv, версия v3 от 13.08.2024 (название и цитата – по этой версии). https://doi.org/10.48550/arXiv.2402.07867
- [32] OWASP Top 10 for LLM Applications 2025. LLM01:2025 Prompt Injection. https://github.com/OWASP/www-project-top-10-for-large-language-model-applications/blob/main/2_0_vulns/LLM01_PromptInjection.md
- [38] Морозов А. «AI в безопасности и безопасность в AI». Доклад на ИИ-митапе ЦГУ, 06.11.2026.
- [39] Субботин А. «Платформы для совместной работы с ИИ-агентами». Доклад на ИИ-митапе ЦГУ, 06.11.2026 (презентация доклада).
- [42] Горшков М. «Проблемы использования агентов в разработке». Вебинар УЦ «МАСКОМ» и PVS-Studio, 28.07.2026 (презентация выступления).

---

<!-- author-block -->
**Автор курса**

Виталий Пиков

- Архитектор информационной безопасности
• РБПО • DevSecOps • AppSec
- Лектор и автор образовательных программ по ИБ и РБПО

Телефон: +7 (963) 782-92-78 ·
E-mail: vitaly@pikov.expert ·
Сайт: https://pikov.expert ·
Telegram: @UnderLineSecurity
