Скрытые команды и помощники по документам: как устроена защита

Дополнительный материал для тех, кто уже работает с ИИ и хочет понять, как защищают сами системы. Здесь нет инструкций по атакам. Цель – знать, какие вопросы задавать, когда в вашей организации появляется помощник по документам или агент.

1. Почему одной инструкции модели недостаточно

В лекции 2.1 мы видели: модель получает вашу просьбу и текст документа одним потоком и не всегда отличает данные от команд [1], [2]. Поэтому защита не может держаться только на инструкции для модели.

«Given the stochastic influence at the heart of the way models work, it is unclear if there are fool-proof methods of prevention for prompt injection.»

Перевод: «Поскольку в основе работы моделей лежит вероятностное поведение, неясно, существуют ли вообще надёжные способы предотвратить внедрение команд». – OWASP, LLM01:2025 [32]

Исследование 2025 года это подтверждает: восемь разных способов защиты от косвенного внедрения обошли атаками, подстроенными под каждую защиту [3].

2. Меры из перечня OWASP

Перечень рисков OWASP для приложений на языковых моделях (редакция 2025 года) называет семь мер, которые снижают последствия внедрения команд [32]. Пересказ по-русски:

№ Мера Что это значит на практике
1 Ограничить поведение модели В системной инструкции описать роль, задачи и границы. Помогает, но обходится
2 Задать и проверять формат ответа Требовать определённый формат и ссылки на источники, проверять соответствие обычной программой
3 Фильтровать вход и выход Правила для чувствительных категорий, проверка того, подтверждается ли ответ найденными документами
4 Минимальные права Собственные ключи доступа у приложения, функции выполняет программа, а не модель. Права модели – минимально необходимые
5 Подтверждение человеком Для действий с последствиями – подтверждение перед выполнением
6 Отделять и помечать внешнее содержимое Недоверенный текст явно отделяется от запроса пользователя
7 Испытания на атаки Регулярные проверки, в которых модель считается недоверенным пользователем

Меры 4 и 5 работают независимо от того, что модель прочитала в документе. Поэтому для действий с последствиями они надёжнее остальных (вывод автора курса). Ту же мысль коротко сформулировал на слайде доклада на отраслевом ИИ-митапе (ноябрь 2026) А. Субботин: «Просьба в тексте не спасет, спасет запрет» [39].

3. Пять точек контроля: учебная схема

Для разговора с разработчиками удобно представить обращение к помощнику как цепочку из пяти точек, где можно что-то проверить. Это учебная схема курса. Ни один стандарт её не требует.

Точка Что проверяют Кто проверяет
1. Запрос Кто обращается, допустима ли задача, разрешены ли данные Система доступа, правила
2. Внешний материал Источник, редакция, права на чтение, подозрительные инструкции Программа до передачи модели
3. Сценарий Какие шаги и инструменты допустимы, когда остановиться Настройки помощника
4. Действие Что именно делается, с каким объектом, кому отправляется Сервис, который выполняет действие
5. Ответ Соответствие источникам, числа, единицы, не раскрыты ли данные Программа и человек

Последняя проверка ответа уже не отменит отправленное письмо. Поэтому для действий с последствиями главная – точка 4.

4. Защита помощника по документам

Для RAG к внедрению команд добавляется ещё одна угроза – подлог в самой базе. В исследовании 2024 года нескольких подложных текстов на вопрос хватало, чтобы в 90 % случаев получить нужный злоумышленнику ответ из базы с миллионами текстов [15].

А. Морозов на отраслевом ИИ-митапе перечислял меры защиты базы знаний [38]:

Спросите владельцев помощника в вашей организации:

  1. Какие документы загружены, кто и как их проверяет перед загрузкой?
  2. Как в базе отличаются действующие и отменённые редакции?
  3. Видит ли помощник только то, что мне разрешено читать?
  4. Показывает ли помощник документ и пункт для каждого ответа?
  5. Куда сообщать о неверном ответе?

5. Шлюзы безопасности ИИ: обзорно

Шлюз безопасности – промежуточная система между пользователями и моделями. Подробно о шлюзах – в модуле 5. Пока перечень мер из вебинара М. Горшкова о проблемах агентов в разработке (июль 2026) [42]:

Пример маскирования из доклада А. Морозова: система находит в журнале событий номер банковской карты, оставляет видимыми только последние цифры и сообщает разработчику [38].

Заявления разработчиков о том, что их продукт «не может» допустить утечку, стоит проверять: спрашивайте, кто, как и на каких испытаниях это подтвердил.

6. Упражнение для желающих

Возьмите документ 4 (письмо поставщика) и документ 6 (ПМИ) из дополнения к кейсу. Опишите на одной странице, как помощник по документам испытательной лаборатории должен обрабатывать письма поставщиков:

В модуле 5 продолжим эту работу: разберём агентов и паспорт сценария.

Источники

Нумерация – по общему списку источников второго дня.


Автор курса

Виталий Пиков

Телефон: +7 (963) 782-92-78 · E-mail: vitaly@pikov.expert · Сайт: https://pikov.expert · Telegram: @UnderLineSecurity