Модуль 2 · тема 2.2
Работа с технической документацией
Сводки, требования, редакции, ссылки на пункт, помощники по документам и распознавание снимков
День 2 · Виталий Пиков · архитектор информационной безопасности · pikov.expert
Вторая тема дня
От сервисов – к самим документам
Тема 2.1
Что можно отправлять в сервисы, а что нельзя
Тема 2.2
Что модель делает с самими документами
Документы в работе инженера
Инженер много времени тратит на документы
Техническое задание
прочитатьТребования
выписатьНовая и старая редакции
сравнитьЧто сказано про ток покоя?
ответитьСлужебная записка
написатьОшибки модели выглядят как текст документа
Ошибки в документах
С документами модели помогают заметно. Но здесь их ошибки особенно опасны
Они выглядят как текст документа
Тема 2.2
Что разберём сегодня
Что модель делает с документами хорошо
Где она пропускает и путает
Как требовать ссылку на пункт
Такую, которую можно проверить
Правило темы 2.1 действует и здесь
Что и куда можно отправлять
Разрешённые внешние сервисы
Только учебные
и открытые документы
Рабочая документация
Только по тому маршруту, который разрешают правила вашей организации
План лекции
О чём пойдёт речь
- Сводки и требования
- Редакции и ссылки на пункт
- Помощники по документам
- Распознавание снимков
- Черновики писем и записок
- Какое требование можно проверить
Цифры на слайдах, важнее виды ошибок
Исследований сегодня будет много
Цифры – на слайдах, запоминать их не нужно. Важнее виды ошибок, которые за ними стоят
На практике всё это попробуем руками
Что ИИ делает с документами
Пять задач и три вопроса к каждой
Задача 1 из 5
Сводка
Документ
40 страницСводка
- Что получаете
- Короткий пересказ документа или раздела
- Где полезна
- Быстро понять, о чём 40 страниц
Проверять всегда
Не потеряно ли главное и нет ли выводов, которых в документе нет
Задача 2 из 5
Извлечение требований
На выходе – таблица
| Пункт | Требование | Параметр | Значение |
|---|---|---|---|
Где полезна
Перенести требования в проверочный перечень
Проверять всегда
Каждую строку по тексту. Особенно числа, допуски и условия
Задача 3 из 5
Сравнение версий
Редакция 1
Редакция 2
Перечень изменений
даёт модельГде модель полезна
Найти, что поменялось, и объяснить, что это значит
Проверять всегда
Полноту: не пропущены ли изменения.
И ложные изменения
Задача 4 из 5
Ответы на вопросы по тексту
Что в документе сказано про ток покоя?
ссылка на пункт
Где полезна
Найти нужное место в длинном документе
Проверять всегда
Есть ли такой пункт и говорит ли он то, что утверждает модель
Задача 5 из 5
Черновики писем, записок, отчётов
Ваши данные
Модель пишет по ним связный текст
Первый вариант
За минуты
Проверять всегда
Каждое утверждение – по документу.
Лишние слова и выдуманные причины
Что ИИ делает с документами
Строка «что проверять» есть у каждой задачи
| Задача | Что проверять всегда |
|---|---|
| Сводка | Не потеряно ли главное, нет ли лишних выводов |
| Извлечение требований | Каждую строку: числа, допуски, условия |
| Сравнение версий | Пропуски и ложные изменения |
| Ответы на вопросы по тексту | Есть ли такой пункт и говорит ли он это |
| Черновики писем, записок, отчётов | Каждое утверждение – по документу |
В конце стоит проверка
Главная мысль лекции
Что бы модель ни делала с документом, в конце стоит проверка
Простая задача, понятный образец и человек на выходе
ИИ-митап ЦГУ · доклад А. Субботина
Для таких задач часто хватает
и не самой сильной модели
Везде простая задача, понятный образец
и человек на выходе
Простая задача, понятный образец и человек на выходе
ИИ-митап ЦГУ · доклад А. Субботина
Для таких задач часто хватает
и не самой сильной модели
Везде простая задача, понятный образец
и человек на выходе
Простая задача, образец, человек
Когда хватает и не самой сильной модели
Простая задача
Понятный образец
Что должно получиться
Человек на выходе
Принимает результат
Модель показывает, откуда ответ, человек проверяет
Поиск по документам · слайд доклада А. Субботина
Модель находит ответ во внутренних документах и показывает, откуда он. Человек проверяет источник
Показывает, откуда он. Человек проверяет. К этим двум словам сегодня будем возвращаться не раз
Модель показывает, откуда ответ, человек проверяет
Поиск по документам · слайд доклада А. Субботина
Модель находит ответ во внутренних документах и показывает, откуда он. Человек проверяет источник
Показывает, откуда он. Человек проверяет. К этим двум словам сегодня будем возвращаться не раз
Машиностроение · статья 2024 года
Такие помощники уже пробуют
Помощник по документам требований
- Отрасль
- Автомобилестроение
- Модели
- Локальные
- Вывод авторов
- Подход заметно упрощает анализ требований и работу со сложными документами
Uygun Y., Momodu V. Production & Manufacturing Research, 2024 · doi.org/10.1080/21693277.2024.2375296
Машиностроение · статья 2024 года
Такие помощники уже пробуют
Помощник по документам требований
- Отрасль
- Автомобилестроение
- Модели
- Локальные
- Вывод авторов
- Подход заметно упрощает анализ требований и работу со сложными документами
Uygun Y., Momodu V. Production & Manufacturing Research, 2024 · doi.org/10.1080/21693277.2024.2375296
Исследование DesignQA · препринт 2024 года
На сложной инженерной документации результаты скромнее
Исследователи MIT и Autodesk собрали набор вопросов и проверили на нём несколько моделей
Doris A. C. et al. DesignQA, 2024, препринт arXiv · doi.org/10.48550/arXiv.2404.07917
Исследование DesignQA · препринт 2024 года
На сложной инженерной документации результаты скромнее
Исследователи MIT и Autodesk собрали набор вопросов и проверили на нём несколько моделей
Doris A. C. et al. DesignQA, 2024, препринт arXiv · doi.org/10.48550/arXiv.2404.07917
Вывод авторов DesignQA
DesignQA · вывод авторов в русском переводе
Проверенные мультимодальные модели выглядят многообещающе, но не могут надёжно находить нужные правила в документации Formula SAE, с трудом распознают технические компоненты на изображениях CAD-моделей и испытывают затруднения при анализе чертежей
Doris A. C. et al. DesignQA, 2024, препринт arXiv · doi.org/10.48550/arXiv.2404.07917
Вывод авторов DesignQA
DesignQA · вывод авторов в русском переводе
Проверенные мультимодальные модели выглядят многообещающе, но не могут надёжно находить нужные правила в документации Formula SAE, с трудом распознают технические компоненты на изображениях CAD-моделей и испытывают затруднения при анализе чертежей
Doris A. C. et al. DesignQA, 2024, препринт arXiv · doi.org/10.48550/arXiv.2404.07917
DesignQA · препринт 2024 года
Что собрали и что получилось
Набор вопросов
По правилам Formula SAE, чертежам и CAD-моделям
Правила
Модели ненадёжно находят нужные правила в документации
CAD-модели и чертежи
С трудом распознают компоненты на изображениях CAD-моделей и анализируют чертежи
Doris A. C. et al. DesignQA, 2024, препринт arXiv · doi.org/10.48550/arXiv.2404.07917
Обзор: вывод сдержанный
Обзор применения моделей в инженерии требований
Обработку естественного языка давно считают перспективной для инженерии требований, но существенной пользы она пока не показала
Вывод обзора сдержанный
Norheim J. et al. Design Science, 2024 · doi.org/10.1017/dsj.2024.8
Вывод
Что из этого следует для нас
Модель
- Хорошо делает черновую работу с документом
- Ускоряет работу с документом
Инженер
- Проверяет результат
- Всё равно читает документ
Ограничения
Ограничения и как с ними работать
1. Объём документа
У сервисов есть пределы
2. Пропуски и искажения при извлечении
3. Путаница версий
4. Неточные цитаты и ссылки на пункт
GigaChat: пределы по справке
Объём документа · пределы сервисов
GigaChat
по справке сервиса
- Запрос
- до 4000 символов
- до 20 МБ или первые 50 страниц
- Правило
- Один новый файл – один новый чат
Справка GigaChat, состояние на 10.11.2026
Алиса AI: один файл в сообщении
Объём документа · пределы сервисов
Алиса AI
по справке сервиса
- В сообщении
- Один файл
- Форматы
- DOC, DOCX, PDF или TXT
- Размер
- до 100 МБ
Справка Алисы AI, состояние на 10.11.2026
Объём документа · если документ длиннее
А если документ длиннее?
Длинный документ
только началоСервис может обработать только начало и не сказать об этом
Учебные документы курса тоже упираются в пределы: программа испытаний из домашнего задания длиннее 4000 символов
Объём документа · что делать
Не помещается – частями в одном чате
Первая часть документа
Пока ничего не делай, дождись задания
Вторая часть документа
Пока ничего не делай, дождись задания
Сам запрос
Другой путь
Загрузить документ файлом, если сервис принимает файлы
Порядок отправки частями для программы испытаний расписан в домашнем задании
Объём документа · что делать
Не помещается – частями в одном чате
Первая часть документа
Пока ничего не делай, дождись задания
Вторая часть документа
Пока ничего не делай, дождись задания
Сам запрос
Другой путь
Загрузить документ файлом, если сервис принимает файлы
Порядок отправки частями для программы испытаний расписан в домашнем задании
Модель читает документ неравномерно
Объём документа · даже если всё поместилось
Даже когда документ целиком помещается, модель читает его неравномерно
В исследовании 2024 года проверили, как модели находят нужные сведения в длинном тексте
Liu N. F. et al. Transactions of the Association for Computational Linguistics, 2024 · doi.org/10.1162/tacl_a_00638
Лучше всего – в начале и в конце текста
Объём документа · слова авторов исследования
Качество обычно выше всего, когда нужные сведения находятся в начале или в конце входного текста, и заметно падает, когда модели нужно найти их в середине длинного текста. Так происходит даже с моделями, специально рассчитанными на длинный контекст
Liu N. F. et al. Lost in the Middle, 2024 · doi.org/10.1162/tacl_a_00638
Потерянная середина
Объём документа · приём
Сведения из середины длинного текста модель находит хуже, чем из начала и конца
Длинный документ – частями, раздел за разделом. Ответ просить по каждой части отдельно
Ограничение 2
Пропуски и искажения
при извлечении
Обычно боятся, что модель что-нибудь выдумает. Исследования показывают немного другую картину
Пропуски и искажения · систематический обзор 2026 года
Модели извлекают данные из статей
27 исследований
Собраны в одном систематическом обзоре
Извлечение данных
Модели извлекали данные из научных статей
Сравнение с людьми
Результаты моделей сравнивали с работой людей
Shankar R. et al. Journal of Biomedical Informatics, 2026 · doi.org/10.1016/j.jbi.2026.105086
Пропуски чаще выдумок
Пропуски и искажения · слова авторов обзора
Основным видом ошибок были пропуски (60–74 %), а доля выдуманных значений составляла лишь 0,08–6 %, что расходится с распространённым мнением о выдумках как главной проблеме
Shankar R. et al. Journal of Biomedical Informatics, 2026 · doi.org/10.1016/j.jbi.2026.105086
Пропуски и искажения · деталь из того же обзора
Числа извлекаются хуже текста
Надёжность извлечения, %
Для инженера это важно: в ТЗ и программах испытаний главное – именно числа
Shankar R. et al. Journal of Biomedical Informatics, 2026 · doi.org/10.1016/j.jbi.2026.105086
Пропуски и искажения · деталь из того же обзора
Числа извлекаются хуже текста
Надёжность извлечения, %
Для инженера это важно: в ТЗ и программах испытаний главное – именно числа
Shankar R. et al. Journal of Biomedical Informatics, 2026 · doi.org/10.1016/j.jbi.2026.105086
Модель – помощник с проверкой человеком
Вывод авторов обзора
Модель – помощник при двойном извлечении данных с проверкой человеком
А не самостоятельный инструмент
Shankar R. et al. Journal of Biomedical Informatics, 2026 · doi.org/10.1016/j.jbi.2026.105086
Пропуски и искажения · крупное исследование 2026 года
Одна модель, 664 статьи
Среди ошибок преобладал другой вид, чем в обзоре
Fan S. et al. BMJ Evidence-Based Medicine, 2026 · doi.org/10.1136/bmjebm-2025-114044
Пропуски и искажения · крупное исследование 2026 года
Одна модель, 664 статьи
Среди ошибок преобладал другой вид, чем в обзоре
Fan S. et al. BMJ Evidence-Based Medicine, 2026 · doi.org/10.1136/bmjebm-2025-114044
Пропуски и искажения · крупное исследование 2026 года
Одна модель, 664 статьи
Среди ошибок преобладал другой вид, чем в обзоре
Fan S. et al. BMJ Evidence-Based Medicine, 2026 · doi.org/10.1136/bmjebm-2025-114044
Пропуски и искажения · таблицы
С таблицами похожая картина
Вывод авторов крупного исследования: результаты модели нужно тщательно проверять
- Структуру таблицы модели понимают
- Значения берут неверно
- Строки пропускают
Fan S. et al. BMJ Evidence-Based Medicine, 2026 · doi.org/10.1136/bmjebm-2025-114044
Yang Y. et al. Proceedings of ACL 2026 · doi.org/10.18653/v1/2026.acl-long.762
Оговорка
Что из исследований переносить на ТЗ
Проценты – нельзя
- Исследования выполнены на медицинских и научных текстах, не на технических заданиях
- Это не частоты ошибок для наших заданий
Виды ошибок – можно
- Пропуск строки
- Значение не в той графе
- Потерянное условие измерения
Оговорка
Что из исследований переносить на ТЗ
Проценты – нельзя
- Исследования выполнены на медицинских и научных текстах, не на технических заданиях
- Это не частоты ошибок для наших заданий
Виды ошибок – можно
- Пропуск строки
- Значение не в той графе
- Потерянное условие измерения
Виды ошибок
Частые ошибки при извлечении
Их соотношение зависит от задачи и модели
Как с этим работать
Пять шагов
В запросе
- Таблица с фиксированными столбцамиОбязательно «пункт» и «условия»: пустую графу видно сразу
- Явно разрешить «не указано»Для пустых граф, чтобы модель не досочиняла
- Каждое требование пункта – отдельной строкойВ одном пункте бывает больше одного требования
После ответа
- Сверить таблицу с каждым пунктом документаВсе требования перенесены, ни одно не потерялось
- Проверить по тексту каждую строку с числомНе выборочно
Как с этим работать
Пять шагов
В запросе
- Таблица с фиксированными столбцамиОбязательно «пункт» и «условия»: пустую графу видно сразу
- Явно разрешить «не указано»Для пустых граф, чтобы модель не досочиняла
- Каждое требование пункта – отдельной строкойВ одном пункте бывает больше одного требования
После ответа
- Сверить таблицу с каждым пунктом документаВсе требования перенесены, ни одно не потерялось
- Проверить по тексту каждую строку с числомНе выборочно
Как с этим работать
Пять шагов
В запросе
- Таблица с фиксированными столбцамиОбязательно «пункт» и «условия»: пустую графу видно сразу
- Явно разрешить «не указано»Для пустых граф, чтобы модель не досочиняла
- Каждое требование пункта – отдельной строкойВ одном пункте бывает больше одного требования
После ответа
- Сверить таблицу с каждым пунктом документаВсе требования перенесены, ни одно не потерялось
- Проверить по тексту каждую строку с числомНе выборочно
Практика · задание 1
Ровно это – в первом задании практики
Редакция 2 ТЗ ЭС-24
Раздел 4, требования
Таблица с дословными фразами
Для каждой строки – фраза из пункта в кавычках
Сверка
Строк, чисел и условий
Ограничение 3
Путаница версий
У технического документа может быть несколько редакций, и модель легко их смешивает
Путаница версий · как это бывает
Два случая
Редакция 1
была в чатеРедакция 2
вставили потомОтвет модели
значения из обеихДругой случай: модель знает вариант документа из обучения и отвечает по нему, а не по тексту, который вы ей дали
Путаница версий · как это бывает
Два случая
Редакция 1
была в чатеРедакция 2
вставили потомОтвет модели
значения из обеихДругой случай: модель знает вариант документа из обучения и отвечает по нему, а не по тексту, который вы ей дали
Путаница версий · исследование 2026 года
Официальные документы, которые много раз изменялись
Sobhani M. et al. Препринт arXiv, 2026 · doi.org/10.48550/arXiv.2608.08512
Путаница версий · исследование 2026 года
Официальные документы, которые много раз изменялись
Sobhani M. et al. Препринт arXiv, 2026 · doi.org/10.48550/arXiv.2608.08512
Модели чаще находят правильную редакцию, чем отвергают неправильную
Путаница версий · слова авторов
Модели чаще находят правильную редакцию, чем отвергают неправильную, и склонны уверенно отвечать на основе сведений, усвоенных при обучении, а не предоставленного официального текста
Sobhani M. et al. Препринт arXiv, 2026 · doi.org/10.48550/arXiv.2608.08512
Путаница версий · учебный кейс ЭС-24
Две редакции одного ТЗ
Редакция 1 · День 1
п. 4.2: напряжение, которое поддерживает регулятор
28,2 ± 0,3 В
Редакция 2 · День 2
п. 4.2: напряжение, которое поддерживает регулятор
28,2 ± 0,2 В
Обе в одном чате без подписей – в ответе могут оказаться значения из обеих
Подписывайте редакции
Правило
Подписывайте редакции и сравнивайте обе в одном новом чате
Исследование на инженерно-нормативном документе
Как сравнивать редакции, чтобы ничего не пропустить?
Авиационные нормы
годовые редакции 2000–2025Редакции сравнивали двумя способами
Обычная программа построчного сравнения
Две языковые модели
Myhovych A., Kunytsia A. Journal of Rocket-Space Technology, 2026 · doi.org/10.15421/452571
То же исследование
Какую долю существенных изменений нашли
То есть часть изменений пропущена
Myhovych A., Kunytsia A. Journal of Rocket-Space Technology, 2026 · doi.org/10.15421/452571
Вывод авторов: сочетать оба способа
Вывод авторов – сочетать оба способа
Для полноты и прослеживаемости нужно детерминированное сравнение. А сравнение с помощью модели может добавить смысловой уровень: выделить значимые изменения и найти связанные с ними фрагменты
doi.org/10.15421/452571
Редактор и модель
Два способа сравнения
Программа, которая на одних и тех же данных всегда даёт один и тот же результат
Редактор
Не пропустит изменение текста
Модель
Объяснит его смысл
Сравнение редакций
Порядок из пяти шагов
- Обе редакции – в один новый чатКаждую подписать: «Редакция 1», «Редакция 2»
- Список различий – функцией сравнения в редактореНе пропустит изменение, хотя и не объяснит его смысл
- Перечень изменений по пунктам – модельюДля каждого пункта: без изменений, изменён, новый или удалён. Что было – что стало
- Сверить перечень модели со списком различийКаждое расхождение проверить по тексту
- Отдельно проверить ложные измененияПерефразировка без смены смысла изменением требования не считается
Сравнение редакций
Порядок из пяти шагов
- Обе редакции – в один новый чатКаждую подписать: «Редакция 1», «Редакция 2»
- Список различий – функцией сравнения в редактореНе пропустит изменение, хотя и не объяснит его смысл
- Перечень изменений по пунктам – модельюДля каждого пункта: без изменений, изменён, новый или удалён. Что было – что стало
- Сверить перечень модели со списком различийКаждое расхождение проверить по тексту
- Отдельно проверить ложные измененияПерефразировка без смены смысла изменением требования не считается
Сравнение редакций
Порядок из пяти шагов
- Обе редакции – в один новый чатКаждую подписать: «Редакция 1», «Редакция 2»
- Список различий – функцией сравнения в редактореНе пропустит изменение, хотя и не объяснит его смысл
- Перечень изменений по пунктам – модельюДля каждого пункта: без изменений, изменён, новый или удалён. Что было – что стало
- Сверить перечень модели со списком различийКаждое расхождение проверить по тексту
- Отдельно проверить ложные измененияПерефразировка без смены смысла изменением требования не считается
Сравнение редакций
Порядок из пяти шагов
- Обе редакции – в один новый чатКаждую подписать: «Редакция 1», «Редакция 2»
- Список различий – функцией сравнения в редактореНе пропустит изменение, хотя и не объяснит его смысл
- Перечень изменений по пунктам – модельюДля каждого пункта: без изменений, изменён, новый или удалён. Что было – что стало
- Сверить перечень модели со списком различийКаждое расхождение проверить по тексту
- Отдельно проверить ложные измененияПерефразировка без смены смысла изменением требования не считается
Сравнение редакций
Порядок из пяти шагов
- Обе редакции – в один новый чатКаждую подписать: «Редакция 1», «Редакция 2»
- Список различий – функцией сравнения в редактореНе пропустит изменение, хотя и не объяснит его смысл
- Перечень изменений по пунктам – модельюДля каждого пункта: без изменений, изменён, новый или удалён. Что было – что стало
- Сверить перечень модели со списком различийКаждое расхождение проверить по тексту
- Отдельно проверить ложные измененияПерефразировка без смены смысла изменением требования не считается
Сравнение двух редакций документа: схема
Схема · сравнение двух редакций документа
Внизу схемы
Работа инженера
На входе – список различий из редактора и перечень модели
Сверка двух списков
Каждое расхождение
Проверка по тексту
Пропуски и ложные изменения
Перечень изменений и служебная записка
Только после сверки и проверки
Модель – в середине, а не в конце
Заметьте
Модель стоит в середине схемы, а не в конце
Перечень изменений между редакциями 1 и 2 вы составите и проверите сами во втором задании практики
Ограничение 4
Неточные цитаты и ссылки на пункт
Ссылка на пункт, которого нет
Правильный пункт с неправильным содержанием
Вспомните первый день
По п. 4.8 ТЗ допускается разряд батарей до 30 % без последствий для пуска
Пункт 4.8 модель выдумала
Ограничение 4
Неточные цитаты и ссылки на пункт
Ссылка на пункт, которого нет
Правильный пункт с неправильным содержанием
Вспомните первый день
По п. 4.8 ТЗ допускается разряд батарей до 30 % без последствий для пуска
Пункт 4.8 модель выдумала
Исследование 2023 года
Ответы моделей со ссылками на источники
- Даже у лучших моделей
- На одном из наборов вопросов
- Ответ в половине случаев не полностью подтверждался приведёнными ссылками
Gao T. et al. Enabling Large Language Models to Generate Text with Citations, 2023, препринт arXiv · doi.org/10.48550/arXiv.2305.14627
Исследование 2023 года
Ответы моделей со ссылками на источники
- Даже у лучших моделей
- На одном из наборов вопросов
- Ответ в половине случаев не полностью подтверждался приведёнными ссылками
Gao T. et al. Enabling Large Language Models to Generate Text with Citations, 2023, препринт arXiv · doi.org/10.48550/arXiv.2305.14627
Документы PDF · исследование 2026 года
Ответить и показать, где написан ответ
Документ PDF
Модели должны были:
Ответить на вопрос по документу
Указать область страницы, где написан ответ
Ma D. et al. CiteVQA, 2026, препринт arXiv · doi.org/10.48550/arXiv.2605.12882
Правильный ответ, ссылка не на то место
Вывод авторов
Проверка 20 мультимодальных моделей выявила повсеместную галлюцинацию указания источника. Модели часто дают правильный ответ, но ссылаются не на то место документа
doi.org/10.48550/arXiv.2605.12882
Казалось бы, ответ ведь правильный
Что в этом плохого?
Правильный ответ со ссылкой не на тот пункт тоже опасен
Не найдёт нужного
Следующий человек откроет указанный пункт и потеряет доверие ко всему документу
Найдёт похожее
И решит, что всё сходится
Как требовать ссылку и как её проверять
Четыре шага
Номер пункта и дословная фраза
Для каждого утверждения укажи номер пункта и приведи дословную фразу из него в кавычках
Если ответа нет – «не найдено»
Если в документе нет ответа, напиши: в документе не найдено
То же, что «не указано» в таблице: чтобы модель не досочиняла
Поиск по документу
Найти дословную фразу: Ctrl + F. Не нашлась – цитата неточная или выдуманная
Сверить с пунктом
Найденная фраза действительно стоит в указанном пункте и говорит то, что утверждает модель
Как требовать ссылку и как её проверять
Четыре шага
Номер пункта и дословная фраза
Для каждого утверждения укажи номер пункта и приведи дословную фразу из него в кавычках
Если ответа нет – «не найдено»
Если в документе нет ответа, напиши: в документе не найдено
То же, что «не указано» в таблице: чтобы модель не досочиняла
Поиск по документу
Найти дословную фразу: Ctrl + F. Не нашлась – цитата неточная или выдуманная
Сверить с пунктом
Найденная фраза действительно стоит в указанном пункте и говорит то, что утверждает модель
Как требовать ссылку и как её проверять
Четыре шага
Номер пункта и дословная фраза
Для каждого утверждения укажи номер пункта и приведи дословную фразу из него в кавычках
Если ответа нет – «не найдено»
Если в документе нет ответа, напиши: в документе не найдено
То же, что «не указано» в таблице: чтобы модель не досочиняла
Поиск по документу
Найти дословную фразу: Ctrl + F. Не нашлась – цитата неточная или выдуманная
Сверить с пунктом
Найденная фраза действительно стоит в указанном пункте и говорит то, что утверждает модель
Как требовать ссылку и как её проверять
Четыре шага
Номер пункта и дословная фраза
Для каждого утверждения укажи номер пункта и приведи дословную фразу из него в кавычках
Если ответа нет – «не найдено»
Если в документе нет ответа, напиши: в документе не найдено
То же, что «не указано» в таблице: чтобы модель не досочиняла
Поиск по документу
Найти дословную фразу: Ctrl + F. Не нашлась – цитата неточная или выдуманная
Сверить с пунктом
Найденная фраза действительно стоит в указанном пункте и говорит то, что утверждает модель
Как требовать ссылку и как её проверять
Четыре шага
Номер пункта и дословная фраза
Для каждого утверждения укажи номер пункта и приведи дословную фразу из него в кавычках
Если ответа нет – «не найдено»
Если в документе нет ответа, напиши: в документе не найдено
То же, что «не указано» в таблице: чтобы модель не досочиняла
Поиск по документу
Найти дословную фразу: Ctrl + F. Не нашлась – цитата неточная или выдуманная
Сверить с пунктом
Найденная фраза действительно стоит в указанном пункте и говорит то, что утверждает модель
Дословную цитату проверяет поиск
Главное
Дословную цитату проверяет поиск.
Пересказ так не проверишь
На практике – сами, на документе 5 (редакция 2 ТЗ): попросите модель процитировать п. 4.3 и найдите её фразу поиском
Помощники по документам
Отвечают на вопросы по внутренней базе документов
Такие помощники появляются во многих организациях
RAG – генерация с дополнением найденным
Чаще всего помощники устроены так
Retrieval-augmented generation – генерация с дополнением найденным
Схема поиска с дополнением контекста
Подход описан в работе: Lewis P. et al. Препринт arXiv, 2020 · doi.org/10.48550/arXiv.2005.11401
Проще говоря
У модели две памяти
Первая
То, что модель усвоила при обучении
Вторая
Внешняя база документов. Перед ответом программа ищет в ней подходящие фрагменты
Помощник по документам
Как это работает по шагам
- Фрагменты. Документы организации заранее разбиты на фрагменты и проиндексированы
- Вопрос. Пользователь задаёт вопрос
- Поиск. Программа ищет в базе фрагменты, близкие к вопросу по смыслу
- Ответ. Найденное добавляется к вопросу, модель составляет ответ по нему
- Ссылка. Хороший помощник показывает, из какого документа и пункта взят ответ
Помощник по документам
Как это работает по шагам
- Фрагменты. Документы организации заранее разбиты на фрагменты и проиндексированы
- Вопрос. Пользователь задаёт вопрос
- Поиск. Программа ищет в базе фрагменты, близкие к вопросу по смыслу
- Ответ. Найденное добавляется к вопросу, модель составляет ответ по нему
- Ссылка. Хороший помощник показывает, из какого документа и пункта взят ответ
Помощник по документам
Как это работает по шагам
- Фрагменты. Документы организации заранее разбиты на фрагменты и проиндексированы
- Вопрос. Пользователь задаёт вопрос
- Поиск. Программа ищет в базе фрагменты, близкие к вопросу по смыслу
- Ответ. Найденное добавляется к вопросу, модель составляет ответ по нему
- Ссылка. Хороший помощник показывает, из какого документа и пункта взят ответ
ИИ-митап ЦГУ
Примеры таких решений
С. Скидан
Контактный центр банка: ответы агента строятся по единой базе знаний вместо готовых шаблонов
В. Малаканов
- Поиск находит несколько статей
- Небольшая модель оценивает, какие подходят
- Большая модель пишет ответ со списком источников
Скидан С. «Как создать Агента-оператора»; Малаканов В. «Код, Jev, LLM, WebMCP». Доклады на ИИ-митапе ЦГУ, 06.11.2026
ИИ-митап ЦГУ
Примеры таких решений
С. Скидан
Контактный центр банка: ответы агента строятся по единой базе знаний вместо готовых шаблонов
В. Малаканов
- Поиск находит несколько статей
- Небольшая модель оценивает, какие подходят
- Большая модель пишет ответ со списком источников
Скидан С. «Как создать Агента-оператора»; Малаканов В. «Код, Jev, LLM, WebMCP». Доклады на ИИ-митапе ЦГУ, 06.11.2026
Помощник хорош настолько, насколько хороша база
Главное условие
Помощник хорош настолько, насколько хороша база
Об этом прямо сказал Н. Галкин, директор департамента ИТ сети ресторанов «Кофемания»
Агенту нужен чёткий контекст
Онлайн-конференция форума All-over-IP & AI 2026
Агенту нужен «чёткий контекст. База знаний, база инструкций, база правил и регламентов». Если формализованных документов нет, то «и смысла нет»
Нейросетка без контекста
Дискуссия на той же конференции
Сотрудники, которые сами пробуют делать агентов, быстро это видят: «если они берут нейросетку без контекста, то на выходе они не получают желаемого результата»
RAG отвечает тем, что нашёл в базе
Где такой помощник ошибается
RAG отвечает не «истиной», а тем, что нашёл в вашей базе
Где ошибается
Что бывает с базой и поиском
В базе устаревшая редакция
Ответ будет по ней
Поиск нашёл не тот фрагмент
Ответ будет уверенным и неверным
Нужного документа в базе нет
Помощнику не на что опереться
Тихие сбои · исследование 2026 года
Опаснее всего, когда ответ выглядит нормально
Ответ может выглядеть связным и уместным, даже если:
найденные сведения устарели
нужный фрагмент обрезан
ссылка больше не указывает на подтверждающий источник
система незаметно перешла на резервный путь, без поиска
Tanhaei M. Results in Engineering, 2026 · doi.org/10.1016/j.rineng.2026.113085
Тихие сбои · исследование 2026 года
Опаснее всего, когда ответ выглядит нормально
Ответ может выглядеть связным и уместным, даже если:
найденные сведения устарели
нужный фрагмент обрезан
ссылка больше не указывает на подтверждающий источник
система незаметно перешла на резервный путь, без поиска
Tanhaei M. Results in Engineering, 2026 · doi.org/10.1016/j.rineng.2026.113085
Есть и злонамеренный вариант
Подложный документ в базе
Можно подложить документ – можно подменить ответ
В исследовании 2024 года хватало нескольких подложных текстов на базу из миллионов
PoisonedRAG · исследование 2024 года
Пять подложных текстов на вопрос
Zou W. et al. PoisonedRAG, 2024, препринт arXiv · doi.org/10.48550/arXiv.2402.07867
OWASP: подмена документа в хранилище
Отраслевой перечень рисков OWASP
Внедрение команд. Один из сценариев – подмена документа в хранилище
Злоумышленник меняет документ в хранилище
По запросу находится изменённый фрагмент
Ответ модели вводит в заблуждение
OWASP Top 10 for LLM Applications 2025 · LLM01:2025 Prompt Injection
OWASP: подмена документа в хранилище
Отраслевой перечень рисков OWASP
Внедрение команд. Один из сценариев – подмена документа в хранилище
Злоумышленник меняет документ в хранилище
По запросу находится изменённый фрагмент
Ответ модели вводит в заблуждение
OWASP Top 10 for LLM Applications 2025 · LLM01:2025 Prompt Injection
Знакомая картина
Похожая история
Тема 2.1
Скрытая строка в письме поставщика
Помощник по документам
Подложный текст лежит в базе документов
Схема: пользователь задаёт вопрос
Схема · помощник по документам
Наверху – пользователь. Он задаёт вопрос, например: «какой ток покоя?»
Схема: поиск, модель, ответ со ссылкой
Схема · помощник по документам
В середине – программа помощника. Поиск находит близкие по смыслу фрагменты, модель отвечает по найденному, пользователь получает ответ со ссылкой на пункт
Схема: сбои базы
Схема · два блока с красной рамкой
Внизу – сбои базы: старая редакция, подлог. От них к модели идёт пунктир с подписью «уверенный неверный ответ»
Схема: открыть первоисточник
Схема · шаг пользователя после ответа
Справа наверху – первоисточник: пункт и редакция. По стрелке «открыть»: открыть первоисточник и проверить пункт и редакцию
Исследователи из Австралии · 2024
Почему нельзя один раз проверить помощника и успокоиться
Barnett S. et al. Proceedings of the IEEE/ACM 3rd International Conference on AI Engineering - Software Engineering for AI, 2024 · doi.org/10.1145/3644815.3644945
Два главных вывода исследователей
Два главных вывода
Проверить систему RAG можно только в ходе эксплуатации
Устойчивость системы RAG складывается со временем, а не закладывается в проект с самого начала
Barnett S. et al. Proceedings of the IEEE/ACM 3rd International Conference on AI Engineering - Software Engineering for AI, 2024 · doi.org/10.1145/3644815.3644945
Для пользователя корпоративного помощника
Что из этого следует
- Ответ помощника – указатель на документ, а не сам документДля решения открывайте первоисточник
- Проверяйте редакцию и дату документа, на который сослался помощник
- Нет ссылки или ссылка ведёт не туда – считайте ответ непроверенным
- О неверных ответах сообщайте владельцам помощникаКачество RAG доводится в эксплуатации, ваше сообщение об ошибке – часть этой доводки
Для пользователя корпоративного помощника
Что из этого следует
- Ответ помощника – указатель на документ, а не сам документДля решения открывайте первоисточник
- Проверяйте редакцию и дату документа, на который сослался помощник
- Нет ссылки или ссылка ведёт не туда – считайте ответ непроверенным
- О неверных ответах сообщайте владельцам помощникаКачество RAG доводится в эксплуатации, ваше сообщение об ошибке – часть этой доводки
Для пользователя корпоративного помощника
Что из этого следует
- Ответ помощника – указатель на документ, а не сам документДля решения открывайте первоисточник
- Проверяйте редакцию и дату документа, на который сослался помощник
- Нет ссылки или ссылка ведёт не туда – считайте ответ непроверенным
- О неверных ответах сообщайте владельцам помощникаКачество RAG доводится в эксплуатации, ваше сообщение об ошибке – часть этой доводки
Исследование DesignQA · правила Formula SAE
Весь документ или страницы от поиска
Модели дали весь документ правил
- Почти всегда отвечали лучше
- Обходилось больше чем в десять раз дороже
Страницы подобрала система поиска
- Ответы почти всегда хуже
- Дешевле больше чем в десять раз
RAG – компромисс между полнотой и ценой
Doris A. C. et al. DesignQA, 2024, препринт arXiv · doi.org/10.48550/arXiv.2404.07917
Исследование DesignQA · правила Formula SAE
Весь документ или страницы от поиска
Модели дали весь документ правил
- Почти всегда отвечали лучше
- Обходилось больше чем в десять раз дороже
Страницы подобрала система поиска
- Ответы почти всегда хуже
- Дешевле больше чем в десять раз
RAG – компромисс между полнотой и ценой
Doris A. C. et al. DesignQA, 2024, препринт arXiv · doi.org/10.48550/arXiv.2404.07917
Исследование DesignQA · правила Formula SAE
Весь документ или страницы от поиска
Модели дали весь документ правил
- Почти всегда отвечали лучше
- Обходилось больше чем в десять раз дороже
Страницы подобрала система поиска
- Ответы почти всегда хуже
- Дешевле больше чем в десять раз
RAG – компромисс между полнотой и ценой
Doris A. C. et al. DesignQA, 2024, препринт arXiv · doi.org/10.48550/arXiv.2404.07917
Сканы и изображения
Многие сервисы принимают изображения
По справке GigaChat и Алисы AI
Сканы и изображения
Модель читает текст, таблицы и надписи
Удобно. Но распознанное нужно проверять
Набор тестов OCRBench
Сильные и слабые стороны моделей
Особенно в работе:
- с многоязычным текстом
- с рукописным текстом
- с текстом без смысловой связности
- в распознавании математических выражений
Liu Y. et al. Science China Information Sciences, 2024 · doi.org/10.1007/s11432-024-4235-6
Набор тестов OCRBench
Сильные и слабые стороны моделей
Особенно в работе:
- с многоязычным текстом
- с рукописным текстом
- с текстом без смысловой связности
- в распознавании математических выражений
Liu Y. et al. Science China Information Sciences, 2024 · doi.org/10.1007/s11432-024-4235-6
Текст без смысловой связности
Что это такое
Обозначения, коды, серийные номера и наборы чисел
Модель плохо читает то, что нельзя угадать по смыслу
Серийный номер по смыслу не угадаешь
Ещё два наблюдения
Сложные тесты и повторы
Более новый и сложный набор тестов
Большинство моделей набрали меньше половины баллов
Ещё один вид сбоя
Модель повторяет распознанный фрагмент по нескольку раз
Fu L. et al. OCRBench v2, 2024, препринт arXiv · doi.org/10.48550/arXiv.2501.00321; Yang Z. et al. CC-OCR, ICCV 2025 · doi.org/10.1109/ICCV51701.2025.02019
Проверка распознанного
На что смотреть: символы
± − ≤
Знаки
мин⁻¹
Верхние индексы
А·ч
Н·м
Единицы
, .
Десятичные запятые и точки, пропущенные нули
З 3
О 0
Похожие символы, латинские и русские буквы в обозначениях
Проверка распознанного
На что смотреть: символы
± − ≤
Знаки
мин⁻¹
Верхние индексы
А·ч
Н·м
Единицы
, .
Десятичные запятые и точки, пропущенные нули
З 3
О 0
Похожие символы, латинские и русские буквы в обозначениях
Проверка распознанного
На что смотреть: таблицы
Полезная строка в запросе
Попросите отметить сомнительное
В запросе«Если символ читается неуверенно, поставь после него [?]»
Модель не всегда честно отмечает неуверенность. Но иногда это помогает найти сомнительные места
Снимок экрана · продолжение темы 2.1
Лишнее на снимке экрана
- Соседняя вкладка
- Имя пользователя
- Номер VIN в углу окна диагностической программы
На снимке может оказаться больше данных, чем вы хотели отправить. Перед отправкой посмотрите на картинку целиком
Практика · задание 4
Снимок таблицы: распознать и сверить
Снимок
Снимок экрана или фото таблицы документа 5
Распознавание
В сервисе, который принимает изображения
Сверка с исходником
Строки, знаки, единицы, десятичные запятые, пометки [?]
Последняя задача из нашего списка
Черновики писем, служебных записок и отчётов
Письмо
черновикСлужебная записка
черновикОтчёт
черновикМодель быстро предлагает структуру и связный текст
Чтобы черновик был полезен
Дайте модели всё, на чём он строится
Исходные данныеРезультаты анализа, перечень изменений, номера пунктов
Чего не делать«Не добавляй причин и выводов, которых нет в моих данных»
Что проверить в черновике
Каждое утверждение – из ваших данных или документа
…изменения внесены по требованию заказчика…
Выдуманная причина
Если вы такой причины не называли, её быть не должно
Что проверить в черновике
Числа, лишние слова, реквизиты
- Номера пунктов и значения совпадают с документом
- Нет лишних слов – их лучше вычеркнуть сразу
«в целях повышения эффективности»,«комплексный подход» - Адресат, дата, подпись не придуманы моделью
Практика · задание 5
Документ по вашей роли
Ход у всех один
Ещё одна часть темы
Проверяемые требования
Всё, что мы делали с техническим заданием, исходит из того, что требования в нём написаны хорошо. Так бывает не всегда
Можно ли сказать «выполнено» или «не выполнено»
Сначала – сами формулировки
Можно ли по формулировке сказать «выполнено» или «не выполнено»?
Это полезно проверить до извлечения требований и сравнения редакций
Языковая модель
Ищет слабые места в формулировках
Инженер
Проверяет результат
Можно ли сказать «выполнено» или «не выполнено»
Сначала – сами формулировки
Можно ли по формулировке сказать «выполнено» или «не выполнено»?
Это полезно проверить до извлечения требований и сравнения редакций
Языковая модель
Ищет слабые места в формулировках
Инженер
Проверяет результат
Главный признак требования – проверка
Главный признак требования – проверка
У каждого требования должен быть способ проверки. Проверка может быть тестом, демонстрацией, измерением, анализом или инспекцией.
Без проверки это не требование, а пожелание
Пять способов проверки · учебный узел ЭС-24
Как способы проверки выглядят на нашем узле
| Способ | Когда | Пример на ЭС-24 |
|---|---|---|
| Демонстрация | Поведение видно в работе | Двигатель запускается после стоянки, видно, с какой попытки |
| Тест | Поведение воспроизводится по шагам | Пуск по методике: стоянка 14 суток в камере, попытки не более 10 с |
| Измерение | Нужны численные показатели | Ток покоя через 60 мин после выключения зажигания |
| Анализ | Проверяются расчёт, схема, модель | Расчёт энергобаланса стоянки |
| Инспекция | Проверяются документы, маркировка, настройки | Отдельный предохранитель тахографа – по схеме и маркировке блока |
Пять способов проверки · учебный узел ЭС-24
Как способы проверки выглядят на нашем узле
| Способ | Когда | Пример на ЭС-24 |
|---|---|---|
| Демонстрация | Поведение видно в работе | Двигатель запускается после стоянки, видно, с какой попытки |
| Тест | Поведение воспроизводится по шагам | Пуск по методике: стоянка 14 суток в камере, попытки не более 10 с |
| Измерение | Нужны численные показатели | Ток покоя через 60 мин после выключения зажигания |
| Анализ | Проверяются расчёт, схема, модель | Расчёт энергобаланса стоянки |
| Инспекция | Проверяются документы, маркировка, настройки | Отдельный предохранитель тахографа – по схеме и маркировке блока |
Пять способов проверки · учебный узел ЭС-24
Как способы проверки выглядят на нашем узле
| Способ | Когда | Пример на ЭС-24 |
|---|---|---|
| Демонстрация | Поведение видно в работе | Двигатель запускается после стоянки, видно, с какой попытки |
| Тест | Поведение воспроизводится по шагам | Пуск по методике: стоянка 14 суток в камере, попытки не более 10 с |
| Измерение | Нужны численные показатели | Ток покоя через 60 мин после выключения зажигания |
| Анализ | Проверяются расчёт, схема, модель | Расчёт энергобаланса стоянки |
| Инспекция | Проверяются документы, маркировка, настройки | Отдельный предохранитель тахографа – по схеме и маркировке блока |
Пять способов проверки · учебный узел ЭС-24
Как способы проверки выглядят на нашем узле
| Способ | Когда | Пример на ЭС-24 |
|---|---|---|
| Демонстрация | Поведение видно в работе | Двигатель запускается после стоянки, видно, с какой попытки |
| Тест | Поведение воспроизводится по шагам | Пуск по методике: стоянка 14 суток в камере, попытки не более 10 с |
| Измерение | Нужны численные показатели | Ток покоя через 60 мин после выключения зажигания |
| Анализ | Проверяются расчёт, схема, модель | Расчёт энергобаланса стоянки |
| Инспекция | Проверяются документы, маркировка, настройки | Отдельный предохранитель тахографа – по схеме и маркировке блока |
Формула готовности требования
Формула готовности
Если требование нельзя одинаково понять, реализовать, проверить и принять, оно ещё не готово для технического задания
Авторский курс В. А. Пикова по техническим заданиям · tz.pikov.expert
Формула готовности · по словам
Что значит каждое слово
Понять
Одна трактовка у всех участников
Реализовать
Есть техническая возможность и границы
Проверить
Есть метод и ожидаемый результат
Принять
Есть пункт программы и методики испытаний и артефакт приёмки
Для инженера-испытателя
Пункт задания – пункт программы испытаний
Техническое задание
пунктПрограмма и методика испытаний
«годен» – известно заранееУ каждого пункта задания – пункт программы испытаний, где заранее известно, какой результат означает «годен»
Критерий приёмки
Для инженера-испытателя
Однозначный признак выполнения
Измеряемая величина
- Допуск или предел
- Условия проверки
Остальное – что увидит проверяющий
- Смазка нанесена
- Предохранитель отдельный
- Маркировка на месте
Критерий приёмки
Для инженера-испытателя
Однозначный признак выполнения
Измеряемая величина
- Допуск или предел
- Условия проверки
Остальное – что увидит проверяющий
- Смазка нанесена
- Предохранитель отдельный
- Маркировка на месте
Авторский курс по техническим заданиям
Кодекс качества требований: 10 критериев
- Требование как требование
- Атомарность
- Однозначность
- Проверяемость
- Реализуемость
- Обоснованность
- Полнота и неизбыточность
- Непротиворечивость
- Трассируемость
- Приоритизация
Пиков В. А. Авторский курс по техническим заданиям, блок «Кодекс качества требований» · tz.pikov.expert
Критерий 1 из 10
Требование как требование
Формулировка задаёт обязанность – «должен», а не описывает состояние или пожелание
«Желательно предусмотреть индикацию разряда аккумуляторных батарей»
Если функция действительно необязательна, это пишут прямо
Не путайте обязательность с приоритетом. Приоритет говорит о важности требования и задаётся отдельно – это критерий 10
Критерий 1 из 10
Требование как требование
Формулировка задаёт обязанность – «должен», а не описывает состояние или пожелание
«Желательно предусмотреть индикацию разряда аккумуляторных батарей»
Если функция действительно необязательна, это пишут прямо
Не путайте обязательность с приоритетом. Приоритет говорит о важности требования и задаётся отдельно – это критерий 10
Критерий 1 из 10
Требование как требование
Формулировка задаёт обязанность – «должен», а не описывает состояние или пожелание
«Желательно предусмотреть индикацию разряда аккумуляторных батарей»
Если функция действительно необязательна, это пишут прямо
Не путайте обязательность с приоритетом. Приоритет говорит о важности требования и задаётся отдельно – это критерий 10
Критерий 2 из 10
Атомарность
Один пункт – одна функция, одно свойство или одно ограничение
Уточнение курса
Если пункт нельзя проверить одним тестом или одной группой связанных проверок, его надо разделить
Критерий 3 из 10
Однозначность
Одна трактовка у заказчика, разработчика и испытателя. Термины определены
«Генератор должен быстро восстанавливать заряд батарей после пуска двигателя»
- Насколько быстро?
- До какого состояния?
- В каком режиме двигателя?
Критерий 3 · удачный пример из кейса
Пункт 4.6: термин сразу уточнён числом
Ток отдачи генератора на холостом ходу двигателя (600 мин⁻¹) – не менее 45 А
Критерий 4 из 10
Проверяемость
Есть объективный способ проверки
Критерий 5 из 10
Реализуемость
Требование выполнимо при заданных технологияхсрокахбюджетеограничениях
Плохо
«Все возможные аварийные режимы должны отрабатываться без повреждения узла»
Перечислить и проверить все возможные режимы нельзя
Лучше
- Перечень конкретных аварийных ситуаций, например короткое замыкание в цепи тахографа
- Для каждой – реакция узла и критерий приёмки
Критерий 5 из 10
Реализуемость
Требование выполнимо при заданных технологияхсрокахбюджетеограничениях
Плохо
«Все возможные аварийные режимы должны отрабатываться без повреждения узла»
Перечислить и проверить все возможные режимы нельзя
Лучше
- Перечень конкретных аварийных ситуаций, например короткое замыкание в цепи тахографа
- Для каждой – реакция узла и критерий приёмки
Критерий 6 из 10
Обоснованность: у требования есть источник
Цель
Сценарий
Нормативный документ
Ограничение
Источник объясняет, зачем требование нужно и кто вправе его изменить
Критерий 6 · учебное задание
Источники не записаны: что делать
Сопоставить
Задание и замечания по испытаниям
Проверить связь
Есть ли связь между требованием и замечанием
Указать основание
Отдельно – на чём основан такой вывод
Модель источник не придумывает. Если его нет в документах, в поле пишут «источник не указан»
Критерий 6 · учебное задание
Источники не записаны: что делать
Сопоставить
Задание и замечания по испытаниям
Проверить связь
Есть ли связь между требованием и замечанием
Указать основание
Отдельно – на чём основан такой вывод
Модель источник не придумывает. Если его нет в документах, в поле пишут «источник не указан»
Критерий 7 из 10
Полнота и неизбыточность
Нет пробелов, и одно и то же не повторяется в нескольких местах
Если одно требование повторяется в трёх местах, через месяц в одном месте его изменят, а в двух забудут
Критерий 7 · условный пример
Одно значение – в двух местах
Требования к генератору
напряжение регулятораТребования к бортовой сети
напряжение регулятораПри выпуске новой редакции одно место поправили, второе забыли
Правильно: записать значение в одном пункте, а остальным пунктам ссылаться на него
Критерий 8 из 10
Непротиворечивость
Требования не конфликтуют между собой. Пример из кейса – письмо поставщика
Такой конфликт между документами разных редакций находится только сверкой редакций
Критерий 9 из 10
Трассируемость
Источник
Требование с постоянным номером
Проверка
Протокол
Хороший примерПункты программы и методики испытаний ЭС-24 ссылаются на пункты задания: «5.4. Ток покоя (п. 4.3 ТЗ)»
Критерий 9 · оговорка
Ссылка ещё не доказывает полноту
Сама по себе ссылка не доказывает, что проверены все требования внутри пункта. Полноту проверяют отдельным сопоставлением
| Требование задания | Проверка, которая его подтверждает |
|---|---|
| П. 4.7: момент затяжки клемм – 7 ± 1 Н·м | П. 5.8 программы испытаний: динамометрический ключ |
| П. 4.7: защитная смазка клемм | П. 5.8 программы испытаний: осмотр |
В одном пункте задания два требования – и проверки должны найтись для обоих
Критерий 10 из 10
Приоритизация
Указано, насколько требование важно. В учебном задании приоритетов нет, хотя последствия невыполнения у пунктов разные
Пуск после стоянки
Смазка клемм
Приоритет назначает команда вместе с заказчиком, а не модель
Несколько «и» в одном требовании
Наблюдение из курса по техническим заданиям
Сложное требование с несколькими «и» часто прячет несколько разных работ, разных владельцев и разные способы проверки
Авторский курс В. А. Пикова по техническим заданиям · tz.pikov.expert
Но не каждое «и» делает требование составным
Пункт 4.9 редакции 2
На холостом ходу двигателя (600 мин⁻¹) при одновременно включённых фарах дальнего света, обогреве зеркал и отопителе кабины напряжение бортовой сети – не ниже 27,0 В
Фары, обогрев зеркал, отопитель – условия одного измерения
Требование одно: напряжение не ниже 27,0 В
Но не каждое «и» делает требование составным
Пункт 4.9 редакции 2
На холостом ходу двигателя (600 мин⁻¹) при одновременно включённых фарах дальнего света, обогреве зеркал и отопителе кабины напряжение бортовой сети – не ниже 27,0 В
Фары, обогрев зеркал, отопитель – условия одного измерения
Требование одно: напряжение не ниже 27,0 В
Похожий набор свойств – в стандартах
ГОСТ 34.602-2020, п. 3.4
Техническое задание на создание автоматизированной системы
Требования должны обладать следующими характеристиками:
Требования по возможности должны быть максимально детализированы
Похожий набор свойств – в стандартах
ГОСТ 34.602-2020, п. 3.4
Техническое задание на создание автоматизированной системы
Требования должны обладать следующими характеристиками:
Требования по возможности должны быть максимально детализированы
ГОСТ 34.602-2020 · где применим
Опора для инженерного задания
Область стандарта
Техническое задание на автоматизированные системы, а не на узел автомобиля
Для инженерного задания
Формулировки стандарта – удобная опора, а не обязательная норма
Вывод автора курса
ГОСТ 34.602-2020 · где применим
Опора для инженерного задания
Область стандарта
Техническое задание на автоматизированные системы, а не на узел автомобиля
Для инженерного задания
Формулировки стандарта – удобная опора, а не обязательная норма
Вывод автора курса
ГОСТ 34.602-2020 · п. 5.3
Правило для числовых значений
С оговоркой «как правило»
Значения показателей, норм и требований указывают, как правило, с предельными отклонениями или максимальным и минимальным значениями
Если значение пока установить нельзя
Стандарт предлагает запись о порядке его установления и согласования: «Окончательное требование (значение) уточняется… и согласовывается…»
ГОСТ 34.602-2020 · п. 5.3
Правило для числовых значений
С оговоркой «как правило»
Значения показателей, норм и требований указывают, как правило, с предельными отклонениями или максимальным и минимальным значениями
Если значение пока установить нельзя
Стандарт предлагает запись о порядке его установления и согласования: «Окончательное требование (значение) уточняется… и согласовывается…»
ГОСТ 34.602-2020 · об изменениях
Изменения оформляют дополнением
Дополнение № … к ТЗ на АС
неотъемлемая часть ТЗП. 3.5
Изменения к ТЗ на АС оформляют дополнением. Дополнение является неотъемлемой частью ТЗ на АС
Титульный лист дополнения – как у самого задания, только с наименованием дополнения и его номером
ГОСТ 34.602-2020 · пп. 5.7, 5.8
Что указывают в дополнении
- П. 5.7
- Основание и содержание изменения
- П. 5.8
- Номера пунктов основного задания и слова:
Как в кейсе и как у вас
Порядок изменения задания
Учебный кейс
Для простоты редакция 2 выпущена целиком, взамен редакции 1
Ваша организация
Порядок изменения технического задания задают её правила
ГОСТ Р 2.105-2019, п. 5.2.2
Для конструкторских документов
Единая система конструкторской документации. Общие требования к текстовым документам
Пункт 5.2.2 начинается так:
Текст документа должен быть кратким, чётким и не допускать различных толкований
ГОСТ Р 2.105-2019 · п. 5.2.2
Слова для двух видов положений
Обязательные требования
Другие положения
желательнонет ни в одном из перечней
ГОСТ Р 2.105-2019 · п. 5.2.2
Слова для двух видов положений
Обязательные требования
Другие положения
желательнонет ни в одном из перечней
Вывод 1 из 2 · ГОСТ Р 2.105-2019
Есть ли обязанность и её условия
- Установлена ли обязанность и однозначно ли определены условия её применения?
- «Как правило», «при необходимости»: когда именно «необходимо»? Кто это решает?
- Такое место пометить и решить, так ли задумано
Вывод 1 из 2 · ГОСТ Р 2.105-2019
Есть ли обязанность и её условия
- Установлена ли обязанность и однозначно ли определены условия её применения?
- «Как правило», «при необходимости»: когда именно «необходимо»? Кто это решает?
- Такое место пометить и решить, так ли задумано
Вывод 2 из 2 · ГОСТ Р 2.105-2019
Повествовательная форма допустима
Тот же пункт стандарта разрешает, например:
Ток, потребляемый от аккумуляторных батарей при выключенном зажигании и включённом выключателе массы (ток покоя), – не более 30 мА. Измеряется через 60 мин после выключения зажигания
Не дефект, хотя слова «должен» в этой фразе нет
Если будете заказывать работы в области ИИ
ГОСТ Р 71752-2024, п. 4.4
ГОСТ Р
71752-2024
Искусственный интеллект. Техническое задание. Требования к содержанию
- Текст ТЗ
- Должен быть кратким, точным, не допускающим различных толкований, логически последовательным, необходимым и достаточным
- Для чего
- Понимание целей и требований, определение требований к процессу и проверка соответствия
Если будете заказывать работы в области ИИ
ГОСТ Р 71752-2024, п. 4.4
ГОСТ Р
71752-2024
Искусственный интеллект. Техническое задание. Требования к содержанию
- Текст ТЗ
- Должен быть кратким, точным, не допускающим различных толкований, логически последовательным, необходимым и достаточным
- Для чего
- Понимание целей и требований, определение требований к процессу и проверка соответствия
Если будете заказывать работы в области ИИ
ГОСТ Р 71752-2024, п. 4.4
ГОСТ Р
71752-2024
Искусственный интеллект. Техническое задание. Требования к содержанию
- Текст ТЗ
- Должен быть кратким, точным, не допускающим различных толкований, логически последовательным, необходимым и достаточным
- Для чего
- Понимание целей и требований, определение требований к процессу и проверка соответствия
ГОСТ Р 71752-2024 · п. 4.5
Для каждого требования задания
должны предусматриваться:
Отчётность о выполнении требования
Проверка соответствия результата установленному требованию
например, путём:
Как плохо и как хорошо
Примеры требований
Как плохо и как хорошо
Хорошие примеры взяты из редакции 2 технического задания ЭС-24
Пример 1 · проверяемость и однозначность
Пуск двигателя зимой
Плохо
«Система электроснабжения должна надёжно обеспечивать пуск двигателя в зимний период»
- Что значит «надёжно»?
- С какого по какое число «зимний период»?
Проверить такое нельзя
Хорошо · п. 4.4 редакции 2
«После стоянки 14 суток при температуре окружающего воздуха до −30 °C двигатель должен запускаться штатным стартером без внешнего источника питания не более чем с трёх попыток продолжительностью до 10 с каждая»
Пример 1 · проверяемость и однозначность
Пуск двигателя зимой
Плохо
«Система электроснабжения должна надёжно обеспечивать пуск двигателя в зимний период»
- Что значит «надёжно»?
- С какого по какое число «зимний период»?
Проверить такое нельзя
Хорошо · п. 4.4 редакции 2
«После стоянки 14 суток при температуре окружающего воздуха до −30 °C двигатель должен запускаться штатным стартером без внешнего источника питания не более чем с трёх попыток продолжительностью до 10 с каждая»
Пример 2 · число без допуска и условий
Напряжение, которое поддерживает регулятор
Плохо
«Напряжение, которое поддерживает регулятор, – 28,2 В». Число есть, но нет ни допуска, ни условий
Хорошо · п. 4.2 редакции 2
«Напряжение, которое поддерживает регулятор при температуре +25 °C, – 28,2 ± 0,2 В»
Пример 2 · число без допуска и условий
Напряжение, которое поддерживает регулятор
Плохо
«Напряжение, которое поддерживает регулятор, – 28,2 В». Число есть, но нет ни допуска, ни условий
Хорошо · п. 4.2 редакции 2
«Напряжение, которое поддерживает регулятор при температуре +25 °C, – 28,2 ± 0,2 В»
Пример 3 · атомарность
Плохо – три функции в одном пункте
Контроль напряжения бортовой сети
Защита цепей от короткого замыкания
Сигнализация разряда батарей
Хорошо – три отдельных пункта, у каждого своё значение и свой способ проверки. Значения задаёт разработчик ТЗ
Пример 3 · атомарность
Плохо – три функции в одном пункте
Контроль напряжения бортовой сети
Защита цепей от короткого замыкания
Сигнализация разряда батарей
Хорошо – три отдельных пункта, у каждого своё значение и свой способ проверки. Значения задаёт разработчик ТЗ
Пример 1 и сам кейс ЭС-24
Пуск после стоянки: что изменилось
Только «должен запускаться»
Сколько попыток допустимо, не задано
«Запустился только со второй попытки»
По п. 4.4 редакции 1 формально не оценить
Стоянка 9 суток при −18…−22 °C, а не 14 суток в условиях п. 4.4
Не более чем с трёх попыток до 10 с каждая
Критерий появился
Даже при совпадении условий редакция 1 не позволила бы сказать, годен ли пуск со второй попытки
Пример 1 и сам кейс ЭС-24
Пуск после стоянки: что изменилось
Только «должен запускаться»
Сколько попыток допустимо, не задано
«Запустился только со второй попытки»
По п. 4.4 редакции 1 формально не оценить
Стоянка 9 суток при −18…−22 °C, а не 14 суток в условиях п. 4.4
Не более чем с трёх попыток до 10 с каждая
Критерий появился
Даже при совпадении условий редакция 1 не позволила бы сказать, годен ли пуск со второй попытки
Пример 1 и сам кейс ЭС-24
Пуск после стоянки: что изменилось
Только «должен запускаться»
Сколько попыток допустимо, не задано
«Запустился только со второй попытки»
По п. 4.4 редакции 1 формально не оценить
Стоянка 9 суток при −18…−22 °C, а не 14 суток в условиях п. 4.4
Не более чем с трёх попыток до 10 с каждая
Критерий появился
Даже при совпадении условий редакция 1 не позволила бы сказать, годен ли пуск со второй попытки
Пример 1 и сам кейс ЭС-24
Пуск после стоянки: что изменилось
Только «должен запускаться»
Сколько попыток допустимо, не задано
«Запустился только со второй попытки»
По п. 4.4 редакции 1 формально не оценить
Стоянка 9 суток при −18…−22 °C, а не 14 суток в условиях п. 4.4
Не более чем с трёх попыток до 10 с каждая
Критерий появился
Даже при совпадении условий редакция 1 не позволила бы сказать, годен ли пуск со второй попытки
Как здесь помогает модель
Модель – первый фильтр
Она быстро размечает
Исследование 2026 года · критерии INCOSE
Где этот фильтр работает, а где нет
Модель оценивала качество требований к условной технической системе по критериям INCOSE. Результат сравнивали с оценкой экспертов
Находит плохо
Нужно суждение системного инженера:
правильность, необходимость, ограниченность
Находит надёжнее
Видно по формулировке:
неоднозначность и проверяемость
Shefa J. et al. INCOSE International Symposium, 2026 · doi.org/10.1002/iis2.70245
Исследование 2026 года · критерии INCOSE
Где этот фильтр работает, а где нет
Модель оценивала качество требований к условной технической системе по критериям INCOSE. Результат сравнивали с оценкой экспертов
Находит плохо
Нужно суждение системного инженера:
правильность, необходимость, ограниченность
Находит надёжнее
Видно по формулировке:
неоднозначность и проверяемость
Shefa J. et al. INCOSE International Symposium, 2026 · doi.org/10.1002/iis2.70245
Та же работа
Главная слабость модели – пропуски
Избегать ложных тревог
Получалось заметно лучше
Надёжно находить настоящие проблемы
Получалось хуже: главная слабость в этой работе – пропуски
Вывод авторов
Модели из коробки пока не годятся для самостоятельной оценки качества требований, но могут помогать экспертам
Shefa J. et al. INCOSE International Symposium, 2026 · doi.org/10.1002/iis2.70245
Та же работа
Главная слабость модели – пропуски
Избегать ложных тревог
Получалось заметно лучше
Надёжно находить настоящие проблемы
Получалось хуже: главная слабость в этой работе – пропуски
Вывод авторов
Модели из коробки пока не годятся для самостоятельной оценки качества требований, но могут помогать экспертам
Shefa J. et al. INCOSE International Symposium, 2026 · doi.org/10.1002/iis2.70245
Промышленная спецификация ПО · исследование 2024 года
Точность находок модели невысокая
Точность по видам находок
Mahbub T. et al. IEEE Access, 2024 · doi.org/10.1109/access.2024.3464242
Промышленная спецификация ПО · исследование 2024 года
Точность находок модели невысокая
Точность по видам находок
Mahbub T. et al. IEEE Access, 2024 · doi.org/10.1109/access.2024.3464242
Промышленная спецификация ПО · исследование 2024 года
Точность находок модели невысокая
Точность по видам находок
Mahbub T. et al. IEEE Access, 2024 · doi.org/10.1109/access.2024.3464242
Те же авторы
Чего модель не умеет
Спецификация
- Не умеет сопоставлять места по всему документу
- Слабо понимает специальный контекст
Для поиска противоречий между пунктами это существенно
Mahbub T. et al. IEEE Access, 2024 · doi.org/10.1109/access.2024.3464242
Работа 2026 года о поиске неоднозначностей
Ложные тревоги – отдельная проблема
Существующие автоматические средства и многие новые подходы на основе ИИ смотрят на требование как на отдельную фразу
Эти методы находят потенциально неоднозначные требования, но ценой большой доли ложных срабатываний, которые ложатся на инженеров большим объёмом ложных тревог
Poulsen V. V. et al. Proceedings of the Design Society, 2026 · doi.org/10.1017/pds.2026.10607
Работа 2026 года о поиске неоднозначностей
Ложные тревоги – отдельная проблема
Существующие автоматические средства и многие новые подходы на основе ИИ смотрят на требование как на отдельную фразу
Эти методы находят потенциально неоднозначные требования, но ценой большой доли ложных срабатываний, которые ложатся на инженеров большим объёмом ложных тревог
Poulsen V. V. et al. Proceedings of the Design Society, 2026 · doi.org/10.1017/pds.2026.10607
Та же работа
Сведения о проекте помогают модели
Требование
одна фразаМного ложных тревог
Описание узла
Пункт ТЗ
Соседние пункты
Модель лучше отличает действительно неоднозначные требования от приемлемых
Практический приём: давать модели не одну фразу, а описание узла и соседние пункты
Poulsen V. V. et al. Proceedings of the Design Society, 2026 · doi.org/10.1017/pds.2026.10607
Бывает и обратное · повторение эксперимента
Модель находит слишком мало
В повторении эксперимента по инспекции требований модель сравнивали с людьми-проверяющими
Seifert D. et al. PROFES 2024, Lecture Notes in Computer Science · doi.org/10.1007/978-3-031-78386-9_3
Бывает и обратное · повторение эксперимента
Модель находит слишком мало
В повторении эксперимента по инспекции требований модель сравнивали с людьми-проверяющими
Seifert D. et al. PROFES 2024, Lecture Notes in Computer Science · doi.org/10.1007/978-3-031-78386-9_3
Оговорка
На каких требованиях выполнены эти исследования
К программному обеспечению
К космическому телескопу
К условной технической системе
Не к электрооборудованию автомобиля
Проценты не переносятся, вывод переносится
Что из этого взять
Проценты переносить нельзя
Переносится вывод: у модели бывают и ложные находки, и пропуски
Порядок работы · первое и второе
Что дать модели и о чём попросить
1 · ДатьПеречень критериев, описание узла и пункты ТЗ
1 · ПопроситьДля каждой находки: номер пункта, дословное слово или фразу и название нарушенного критерия
2 · ЗапретитьПридумывать числа. Где значения нет, пусть пишет: «значение задаёт разработчик»
Порядок работы · первое и второе
Что дать модели и о чём попросить
1 · ДатьПеречень критериев, описание узла и пункты ТЗ
1 · ПопроситьДля каждой находки: номер пункта, дословное слово или фразу и название нарушенного критерия
2 · ЗапретитьПридумывать числа. Где значения нет, пусть пишет: «значение задаёт разработчик»
Порядок работы · третье
Каждую находку проверить
Ложные срабатывания встречаются часто
Повествовательная форма
«Измеряется через 60 мин после выключения зажигания» в п. 4.3 – не дефект
Союз «и» в перечне условий
«…фары дальнего света, обогрев зеркал и отопитель кабины» в п. 4.9 – условия одного измерения
«Допускается»
В пункте, который действительно что-то разрешает
Порядок работы · четвёртое
Пройти пункты самому по короткой проверке
- Есть постоянный номер
- Есть источник
- Формулировка задаёт обязанность
- Термины определены
- Требование атомарно
- Есть критерий приёмки
- Есть метод проверки
- Нет конфликта с другими требованиями
Так находятся пропуски модели
Короткая проверка из авторского курса В. А. Пикова по техническим заданиям · tz.pikov.expert
Слабое требование дешевле исправить до постановки задач
К этой проверке – слова из курса по ТЗ
Не надо ждать конца проекта. Слабое требование дешевле исправить до постановки задач
Учебник того же курса
Аналитик обязан проверить результат
«…отправку уведомлений через спутник»
Что «будет стоить дороже самой фуры апельсинов»
Пиков В. А. Искусство написания ТЗ: большой учебник системного аналитика, 2026
Модель предлагает, решает человек
Для инженера то же самое
Модель предлагает.
Решает и отвечает за ТЗ человек
Итог проверки ТЗ с моделью
Перечень вместо исправленного моделью текста
| Пункт ТЗ | Находка | Решение | Кто решил | Что изменено |
|---|---|---|---|---|
| принято | ||||
| отклонено как ложное срабатывание | ||||
| отложено |
Отклонённые находки тоже записывают: по ним видно, что проверка была
Итог проверки ТЗ с моделью
Перечень вместо исправленного моделью текста
| Пункт ТЗ | Находка | Решение | Кто решил | Что изменено |
|---|---|---|---|---|
| принято | ||||
| отклонено как ложное срабатывание | ||||
| отложено |
Отклонённые находки тоже записывают: по ним видно, что проверка была
Подробнее
Дополнительный материал дня
Проверяемые требования: кодекс качества и работа с ИИ
тема 2.2- Полный разбор десяти критериев
- Короткая проверка
- Три готовых запроса к модели
Три запроса из дополнительного материала
Готовые запросы к модели
Разобрать исходные материалы до ТЗ
Цели, состав и границы узла, функции, названные значения и условия, открытые вопросы
Проверить атомарность и проверяемость
Ответ таблицей: пункт – находка – дословная фраза – предложение
Предложить формулировку требования с критерием приёмки
Три варианта, для каждого – критерий приёмки и метод проверки
Потренироваться – в упражнении по желанию «Десять формулировок» в конце практики 2.2
Коротко повторим главное
Что запомнить: работа с документом
- Модель хорошо делает черновую работу с документом: сводку, таблицу требований, перечень изменений, черновик. Проверяет результат инженер
- Частые ошибки при извлечении – пропуск и значение не в той графе. Сверяйте число строк и каждую строку с числом
- Версии путаются. Подписывайте редакции, сравнивайте обе в одном новом чате и сверяйте со списком различий редактора
Коротко повторим главное
Что запомнить: работа с документом
- Модель хорошо делает черновую работу с документом: сводку, таблицу требований, перечень изменений, черновик. Проверяет результат инженер
- Частые ошибки при извлечении – пропуск и значение не в той графе. Сверяйте число строк и каждую строку с числом
- Версии путаются. Подписывайте редакции, сравнивайте обе в одном новом чате и сверяйте со списком различий редактора
Коротко повторим главное
Что запомнить: работа с документом
- Модель хорошо делает черновую работу с документом: сводку, таблицу требований, перечень изменений, черновик. Проверяет результат инженер
- Частые ошибки при извлечении – пропуск и значение не в той графе. Сверяйте число строк и каждую строку с числом
- Версии путаются. Подписывайте редакции, сравнивайте обе в одном новом чате и сверяйте со списком различий редактора
Коротко повторим главное
Что запомнить: ответы со ссылкой на документ
Номер пункта и дословная цитата
Требуйте их. Проверяйте цитату поиском по документу
RAG отвечает тем, что нашёл в базе
Ответ помощника – указатель на первоисточник
Распознанное с изображения
Проверяется по исходнику: числа, знаки, единицы
Когда требование готово
И о требованиях
Требование готово, если его можно одинаково понять, реализовать, проверить и принять
Модель помогает найти непроверяемые и составные формулировки. Её находки, ложные срабатывания и пропуски проверяет инженер
Дальше
Практика 2.2
- Задание 1Требования редакции 2 – в таблицу
- Задание 2Сравнение редакций
- Задание 3Приёмка пакета документации и нормоконтроль
- Задание 4Снимок таблицы
- Задание 5Документ по вашей роли
Понадобятся
Дальше
Практика 2.2
- Задание 1Требования редакции 2 – в таблицу
- Задание 2Сравнение редакций
- Задание 3Приёмка пакета документации и нормоконтроль
- Задание 4Снимок таблицы
- Задание 5Документ по вашей роли
Понадобятся