# Генератор и проверки: как строить работу с моделью, чтобы ей можно было пользоваться всерьёз

Дополнительный материал для тех, кто уже работает с ИИ. Здесь собраны приёмы, которые выходят за рамки занятия: как организовать поиск решений и анализ отказов так, чтобы ошибки модели ловились системно.

## 1. Модель – генератор, проверка – отдельно

На вебинаре о проверке кода, написанного агентами, А. Цымлов сформулировал правило: «Вероятностный генератор + детерминированные проверки = надёжная система» [43]. Модель выдаёт правдоподобные варианты, но сама не гарантирует, что они верны. Гарантию дают проверки, которые работают одинаково при каждом запуске и не зависят от того, что «решила» модель: расчёт, таблица с формулами, справочник, испытание.

Почему не поручить проверку той же модели? Потому что модель плохо ловит собственные ошибки. В исследовании 2024 года модель проверяла свой же программный код и часто признавала неверный код правильным, а неудачные исправления – успешными [23].

Для инженерных задач третьего дня это выглядит так.

| Что генерирует модель | Чем проверяем |
|---|---|
| Варианты решения задачи К-1 | Расчёт энергобаланса по таблице Д-2, список ограничений 1–6 |
| Оценки в матрице выбора | Пересчёт итогов в таблице, проверка суммы весов, перестановка вариантов |
| Ссылки на стандарты, патенты, статьи | doi.org, каталог стандартов, реестр патентов |
| Строки DFMEA | Список инвариантов: одна причина в строке, причины в границах узла, нет компонентов, которых в узле нет |

## 2. Оракул: как понять, что задача решена

В программировании оракулом называют то, что заранее говорит, какой результат правильный. Для работы с моделью полезен простой тест: можно ли до начала работы записать, по какому признаку вы примете результат? Если признак есть («ток покоя через 30 мин не более 40 мА», «энергобаланс за 336 ч не больше 13,3 А·ч»), результат модели можно проверить. Если признака нет («хорошее решение», «полная таблица»), модель выдаст правдоподобный объём текста, и отличить хороший ответ от плохого будет нечем.

Это перекликается с формулой из вебинара П. Гагарина: «Критерий успеха = сценарий + результат» [42]. Сценарий – что делаем, результат – что должно получиться и как это проверить.

Отдельная ловушка – когда модель сама придумывает и решение, и критерий его проверки. Критерий подгоняется под готовое решение, поэтому проверка теряет смысл. Критерий задаёт инженер до того, как увидел ответ.

## 3. Инварианты для таблиц

Инвариант – утверждение, которое должно выполняться для каждой строки таблицы. Инварианты легко сформулировать; проверять их можно вручную по списку или формулами в электронной таблице.

Для матрицы выбора:

- сумма весов равна 1;
- все оценки в пределах шкалы;
- итог каждого варианта равен сумме произведений «вес × оценка»;
- ни один вариант в матрице не нарушает жёстких ограничений;
- у каждой оценки есть обоснование.

Для DFMEA:

- в строке одна причина;
- причина внутри границ анализа или помечена как граница;
- у строк с одинаковым последствием одинаковая значимость S;
- нет компонентов, которых в узле нет;
- у меры обнаружения есть критерий результата.

Первые три инварианта матрицы проверяются формулами за минуту. В учебном ответе модели они ловят и неверную сумму весов, и арифметическую ошибку, которая подняла худший вариант на первое место.

## 4. Две модели вместо одной

Если доступно несколько сервисов, их можно поставить друг против друга. В исследовании 2026 года две разные модели дорабатывали идеи друг друга, повышая новизну и разнообразие исходного набора [5]. При анализе отказов одна модель может составлять черновик DFMEA, а другая – искать в нём лишние строки и пропуски. Модели разных разработчиков ошибаются по-разному, и вторая иногда замечает то, что пропустила первая. Это подсказки, а не проверка: каждое замечание инженер сверяет с описанием узла, расчётами и документами, и решение остаётся за ним.

Похожий приём – несколько ролей в одном сервисе. Исследование 2025 года показало, что разнообразие идей растёт, если роли задаются в отдельных запросах или по очереди, с доработкой [6].

## 5. Модель как судья: известные смещения

Если всё-таки просить модель сравнить варианты, нужно помнить о смещениях, которые описаны в исследованиях моделей-судей [12], [13]:

- **по позиции** – модель предпочитает вариант, стоящий на определённом месте, чаще первый;
- **по длине** – модель предпочитает более подробное описание, даже если оно не лучше;
- **в пользу своего** – модель может выше оценивать текст, похожий на её собственный.

Что с этим делать:

1. Описывать варианты одинаково подробно.
2. Спрашивать дважды, поменяв варианты местами, каждый раз в новом чате.
3. Просить не итоговую оценку, а замечания к оценкам, которые поставил инженер.

## 6. Выдуманные пакеты: если вы программируете

Тем, кто пишет программы для обработки данных испытаний или расчётов, стоит знать о выдуманных пакетах. Модель может предложить установить библиотеку, которой не существует. В исследовании 2024 года таких ссылок было не меньше 5,2 % у коммерческих моделей и 21,7 % у открытых [17]. Злоумышленник может зарегистрировать библиотеку с выдуманным именем, и следующий, кто доверится модели, установит вредоносный код. В исследовании 2026 года поиск в интернете эту угрозу не устранял [18].

Проверить, что имя есть в официальном реестре пакетов, недостаточно: пакет злоумышленника как раз там и зарегистрирован. До установки убедитесь, что пакет связан с официальным проектом (на него ссылается документация проекта), посмотрите, кто его издатель, и берите только разрешённую версию. На рабочих машинах устанавливайте только то, что разрешают правила вашей организации.

## 7. Куда это ведёт: модель внутри процесса организации

Исследования, где FMEA пытаются частично автоматизировать, сходятся на одной архитектуре: модель работает по проверенной базе документов организации (стандартам, прошлым FMEA, данным испытаний), а эксперт проверяет результат [28], [31]. Похожий подход предлагают для многокритериального выбора: модель готовит основу решения из текстов, а расчёт ведёт специализированная программа по явным правилам [8], [9].

Такие системы строятся на внутренних решениях организации, а не на внешних чат-сервисах: данные о реальных отказах, рекламациях и испытаниях нельзя отправлять наружу. Об этом – в модуле 5.

## Источники

Нумерация общая для всех материалов третьего дня.

- [5] Xiao S., Zhang G., McAdams D. A. Collaboration Between Two Large Language Models for Design Concept Generation // Journal of Mechanical Design. 2026. https://doi.org/10.1115/1.4072235
- [6] Feng W. B., Hélie S., Panchal J. H. Enhancing design concept diversity: multi-persona prompting strategies for large language models // Design Science. 2025. https://doi.org/10.1017/dsj.2025.10037
- [8] Bohanec M., Rajkovič U., Rajkovič V. An Experimental Evaluation of Large Language Models in Supporting the DEX Multi-Criteria Decision-Making Process // Informatica. 2025. https://doi.org/10.31449/inf.v49i4.12884
- [9] Danielson M. Using LLMs for Multi-Criteria Decision Analysis: The Swedish Nord-Syd Case // Electronics. 2026. https://doi.org/10.3390/electronics15194519
- [12] Zheng L., Chiang W.-L., Sheng Y., et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena // Advances in Neural Information Processing Systems 36. 2023. https://doi.org/10.52202/075280-2020
- [13] Shi L., Ma C., Liang W., et al. Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge // Proceedings of IJCNLP-AACL 2025. https://doi.org/10.18653/v1/2025.ijcnlp-long.18
- [17] Spracklen J., Wijewickrama R., Sakib A. H. M. N., et al. We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs. 2024. Препринт arXiv. https://doi.org/10.48550/arXiv.2406.10279
- [18] Huang Z., Liu C., Wang Z., et al. Package Hallucinations as Phantoms in Open Source Software Supply Chains: An Empirical Security Analysis // ACM Transactions on Software Engineering and Methodology. 2026. https://doi.org/10.1145/3830237
- [23] Yu X., Liu L., Hu X., et al. Fight Fire With Fire: How Much Can We Trust ChatGPT on Source Code-Related Tasks? // IEEE Transactions on Software Engineering. 2024. https://doi.org/10.1109/tse.2024.3492204
- [28] Bahr L., Wehner C., Wewerka J., et al. Knowledge graph enhanced retrieval-augmented generation for failure mode and effects analysis // Journal of Industrial Information Integration. 2025. https://doi.org/10.1016/j.jii.2025.100807
- [31] Charan K. V., Singh M., Redhu S., Soni G. A framework for automating failure modes and effects analysis (FMEA) using large language models (LLMs) and retrieval-augmented generation (RAG) // International Journal of System Assurance Engineering and Management. 2026. https://doi.org/10.1007/s13198-026-03171-6
- [42] Гагарин П. Разработка с агентами: от постановки задачи до деплоя. Вебинар 2 по ИИ, УЦ «МАСКОМ» и PVS-Studio, 28.07.2026 (презентация доклада).
- [43] Цымлов А. Агенты пишут код, а кто его проверяет? Вебинар 3 цикла «Качество и безопасность ПО в эпоху GenAI», УЦ «МАСКОМ» и PVS-Studio, 28.08.2026 (презентация доклада).

---

<!-- author-block -->
**Автор курса**

Виталий Пиков

- Архитектор информационной безопасности
• РБПО • DevSecOps • AppSec
- Лектор и автор образовательных программ по ИБ и РБПО

Телефон: +7 (963) 782-92-78 ·
E-mail: vitaly@pikov.expert ·
Сайт: https://pikov.expert ·
Telegram: @UnderLineSecurity
