Генератор и проверки: как строить работу с моделью, чтобы ей можно было пользоваться всерьёз

Дополнительный материал для тех, кто уже работает с ИИ. Здесь собраны приёмы, которые выходят за рамки занятия: как организовать поиск решений и анализ отказов так, чтобы ошибки модели ловились системно.

1. Модель – генератор, проверка – отдельно

На вебинаре о проверке кода, написанного агентами, А. Цымлов сформулировал правило: «Вероятностный генератор + детерминированные проверки = надёжная система» [43]. Модель выдаёт правдоподобные варианты, но сама не гарантирует, что они верны. Гарантию дают проверки, которые работают одинаково при каждом запуске и не зависят от того, что «решила» модель: расчёт, таблица с формулами, справочник, испытание.

Почему не поручить проверку той же модели? Потому что модель плохо ловит собственные ошибки. В исследовании 2024 года модель проверяла свой же программный код и часто признавала неверный код правильным, а неудачные исправления – успешными [23].

Для инженерных задач третьего дня это выглядит так.

Что генерирует модель Чем проверяем
Варианты решения задачи К-1 Расчёт энергобаланса по таблице Д-2, список ограничений 1–6
Оценки в матрице выбора Пересчёт итогов в таблице, проверка суммы весов, перестановка вариантов
Ссылки на стандарты, патенты, статьи doi.org, каталог стандартов, реестр патентов
Строки DFMEA Список инвариантов: одна причина в строке, причины в границах узла, нет компонентов, которых в узле нет

2. Оракул: как понять, что задача решена

В программировании оракулом называют то, что заранее говорит, какой результат правильный. Для работы с моделью полезен простой тест: можно ли до начала работы записать, по какому признаку вы примете результат? Если признак есть («ток покоя через 30 мин не более 40 мА», «энергобаланс за 336 ч не больше 13,3 А·ч»), результат модели можно проверить. Если признака нет («хорошее решение», «полная таблица»), модель выдаст правдоподобный объём текста, и отличить хороший ответ от плохого будет нечем.

Это перекликается с формулой из вебинара П. Гагарина: «Критерий успеха = сценарий + результат» [42]. Сценарий – что делаем, результат – что должно получиться и как это проверить.

Отдельная ловушка – когда модель сама придумывает и решение, и критерий его проверки. Критерий подгоняется под готовое решение, поэтому проверка теряет смысл. Критерий задаёт инженер до того, как увидел ответ.

3. Инварианты для таблиц

Инвариант – утверждение, которое должно выполняться для каждой строки таблицы. Инварианты легко сформулировать; проверять их можно вручную по списку или формулами в электронной таблице.

Для матрицы выбора:

Для DFMEA:

Первые три инварианта матрицы проверяются формулами за минуту. В учебном ответе модели они ловят и неверную сумму весов, и арифметическую ошибку, которая подняла худший вариант на первое место.

4. Две модели вместо одной

Если доступно несколько сервисов, их можно поставить друг против друга. В исследовании 2026 года две разные модели дорабатывали идеи друг друга, повышая новизну и разнообразие исходного набора [5]. При анализе отказов одна модель может составлять черновик DFMEA, а другая – искать в нём лишние строки и пропуски. Модели разных разработчиков ошибаются по-разному, и вторая иногда замечает то, что пропустила первая. Это подсказки, а не проверка: каждое замечание инженер сверяет с описанием узла, расчётами и документами, и решение остаётся за ним.

Похожий приём – несколько ролей в одном сервисе. Исследование 2025 года показало, что разнообразие идей растёт, если роли задаются в отдельных запросах или по очереди, с доработкой [6].

5. Модель как судья: известные смещения

Если всё-таки просить модель сравнить варианты, нужно помнить о смещениях, которые описаны в исследованиях моделей-судей [12], [13]:

Что с этим делать:

  1. Описывать варианты одинаково подробно.
  2. Спрашивать дважды, поменяв варианты местами, каждый раз в новом чате.
  3. Просить не итоговую оценку, а замечания к оценкам, которые поставил инженер.

6. Выдуманные пакеты: если вы программируете

Тем, кто пишет программы для обработки данных испытаний или расчётов, стоит знать о выдуманных пакетах. Модель может предложить установить библиотеку, которой не существует. В исследовании 2024 года таких ссылок было не меньше 5,2 % у коммерческих моделей и 21,7 % у открытых [17]. Злоумышленник может зарегистрировать библиотеку с выдуманным именем, и следующий, кто доверится модели, установит вредоносный код. В исследовании 2026 года поиск в интернете эту угрозу не устранял [18].

Проверить, что имя есть в официальном реестре пакетов, недостаточно: пакет злоумышленника как раз там и зарегистрирован. До установки убедитесь, что пакет связан с официальным проектом (на него ссылается документация проекта), посмотрите, кто его издатель, и берите только разрешённую версию. На рабочих машинах устанавливайте только то, что разрешают правила вашей организации.

7. Куда это ведёт: модель внутри процесса организации

Исследования, где FMEA пытаются частично автоматизировать, сходятся на одной архитектуре: модель работает по проверенной базе документов организации (стандартам, прошлым FMEA, данным испытаний), а эксперт проверяет результат [28], [31]. Похожий подход предлагают для многокритериального выбора: модель готовит основу решения из текстов, а расчёт ведёт специализированная программа по явным правилам [8], [9].

Такие системы строятся на внутренних решениях организации, а не на внешних чат-сервисах: данные о реальных отказах, рекламациях и испытаниях нельзя отправлять наружу. Об этом – в модуле 5.

Источники

Нумерация общая для всех материалов третьего дня.


Автор курса

Виталий Пиков

Телефон: +7 (963) 782-92-78 · E-mail: vitaly@pikov.expert · Сайт: https://pikov.expert · Telegram: @UnderLineSecurity