От чата к агенту

Дополнительный материал для тех, кто уже работает с ИИ и хочет понять, что стоит за словом «агент». Здесь – основы, подробно агентов разберём в модуле 5.

1. Четыре сценария использования

Условно выделим четыре ступени использования сервисов на языковых моделях. Ступени могут пересекаться: в окне обычного чата иногда работает агентный цикл, а поиск по документам выполняет программа, а не модель. Но в целом на каждой следующей ступени модель получает больше возможностей, и вместе с ними растёт цена ошибки.

Ступень Что делает модель Пример
Чат Отвечает на текст, который вы написали Вопрос о причинах просадки напряжения
Чат с файлами и поиском Читает загруженный файл или результаты поиска в интернете Сводка по загруженному техническому заданию
Помощник по документам Ищет ответ в подключённой базе документов организации и опирается на найденное Вопрос о порядке испытаний, ответ со ссылкой на внутренний стандарт
Агент Сам решает, какой инструмент вызвать, вызывает его, получает результат и продолжает работу Проверка комплекта документов: агент получает файлы, сверяет их с требованиями, готовит перечень расхождений

На первых трёх ступенях поиск и чтение документов идут по заданному сценарию, а решения о дальнейших действиях принимает человек. На четвёртой следующий шаг выбирает модель, и её вывод превращается в действие.

2. Что такое агент

В отчёте NIST о состязательном машинном обучении (2025) агент описан так: программная система, которая многократно обращается к модели, обрабатывает её ответы (например, выбирает функцию и вызывает её с нужными входными данными) и возвращает результат модели в следующем запросе. У агента могут быть инструменты: просмотр веб-страниц, выполнение программ. Бывают и дополнительные возможности, например память и планирование [11].

«An increasingly common use of GenAI models is constructing an (often LLM-based) AGENT, a software system that iteratively prompts a model, process its outputs – such as to select and call a function with specified inputs – and provides the results back to the model as a part of its next prompt.»

Перевод: «Всё чаще генеративные модели используют для построения агента (как правило, на основе большой языковой модели) – программной системы, которая многократно обращается к модели, обрабатывает её ответы (например, чтобы выбрать и вызвать функцию с заданными входными данными) и возвращает результаты модели как часть следующего запроса.» – NIST AI 100-2e2025, раздел 3.5 [11]

В руководствах OWASP по безопасности агентных систем агентный ИИ рассматривается как развитие автономных систем. Большие языковые модели заметно расширили его возможности, а вместе с ними и риски [12].

Агент отличается от чата не качеством ответа, а тем, что модель сама выбирает следующее действие.

3. Как агент работает: цикл «подумал – сделал – посмотрел»

Основная схема описана в работе о подходе ReAct [13]. Модель чередует рассуждения и действия. Рассуждение помогает составить и уточнить план, а действие позволяет обратиться к внешнему источнику, например к базе знаний, и получить недостающие сведения.

«reasoning traces help the model induce, track, and update action plans as well as handle exceptions, while actions allow it to interface with external sources, such as knowledge bases or environments, to gather additional information.»

Перевод: «Цепочки рассуждений помогают модели выстраивать, отслеживать и обновлять план действий, а также обрабатывать исключения, а действия позволяют ей обращаться к внешним источникам, например к базам знаний или среде, чтобы собрать дополнительные сведения.» – Yao и соавт., 2022, препринт arXiv [13]

Как работает агент: модель выбирает следующий шаг

Интерактивная версия схемы – файл 08-Схемы/d1-cikl-agenta.html. По шагам это выглядит так:

  1. Пользователь ставит задачу.
  2. Модель решает, нужен ли инструмент, и если нужен, какой и с какими параметрами.
  3. Программа агента вызывает инструмент: поиск по документам, запрос в учётную систему, расчёт.
  4. Результат возвращается модели и добавляется к контексту.
  5. Модель решает: задача решена или нужен ещё шаг.
  6. Когда шагов больше не нужно, модель пишет ответ пользователю.

На вопрос «Сколько раз вызывалась модель, чтобы ответить пользователю?» ответ почти всегда «больше одного». В журнале работы агента это хорошо видно: сначала модель возвращает не текст, а указание вызвать инструмент. Затем в диалог добавляется результат инструмента, и только после этого появляется ответ.

4. Пример: помощник с базой знаний

Представим корпоративного помощника, к которому подключены поиск по внутренней базе документов и поиск задач в системе учёта. Каждый инструмент включается отдельным переключателем.

Полезность такого помощника зависит от модели, включённых инструментов и документов, которые ему разрешено читать. Выключите поиск по базе, и ответ про хранение паролей будет взят из общих знаний модели, а не из вашего стандарта.

5. Почему с агентами осторожнее

«Adversarial inputs into this context, such as from interactions with untrusted resources, could hijack the agent into performing adversary-specified actions instead, leading to potential security or safety violations.»

Перевод: «Враждебные данные, попавшие в этот контекст, например при работе с ненадёжными источниками, могут перехватить управление агентом и заставить его вместо предусмотренных действий выполнять действия, заданные злоумышленником, что может привести к нарушениям защищённости системы или безопасности её функционирования.» – NIST AI 100-2e2025, раздел 3.1.1 [11]

6. Упражнение для желающих

Опишите на одной странице агента, который помогал бы разбирать замечания по испытаниям, как в учебном кейсе ЭС-24:

Это задел для модуля 5, где мы будем говорить о конструкторах агентов и о том, что поручать модели, а что оставить точным проверкам.

Источники


Автор курса

Виталий Пиков

Телефон: +7 (963) 782-92-78 · E-mail: vitaly@pikov.expert · Сайт: https://pikov.expert · Telegram: @UnderLineSecurity