МОДУЛЬ 2 · ТЕМА 2.2
Работа с технической документацией
Сводки, требования, редакции, ссылки на пункт, помощники по документам и распознавание снимков
День 2 · Виталий Пиков · архитектор информационной безопасности · pikov.expert
2.2
Что ИИ делает с документами
Задача
Сводка
Требования в таблицу
Сравнение редакций
Ответ по тексту
Черновик записки
Что проверять всегда
Не потеряно ли главное, нет ли лишних выводов
Каждую строку: числа, допуски, условия
Пропуски и ложные изменения
Есть ли пункт и говорит ли он это
Каждое утверждение – по документу
Когда хватает и не самой сильной модели
По докладу А. Субботина на отраслевом ИИ-митапе, ноябрь 2026
Простая задача
Понятный образец
Человек на выходе
«Модель находит ответ во внутренних документах и показывает, откуда он. Человек проверяет источник»
На инженерной документации пока трудно
Doris и соавт., 2024, препринт arXiv
Набор вопросов по правилам Formula SAE, чертежам и CAD-моделям
Модели ненадёжно находят нужные правила в документации
С трудом распознают компоненты на изображениях CAD-моделей и анализируют чертежи
Объём документа
Приём: длинный документ – по разделам
до 4000 символов
GigaChat: запрос
до 100 МБ
Алиса AI: один файл
GigaChat: запрос до 4000 символов, PDF до 20 МБ или первые 50 страниц
Алиса AI: один файл до 100 МБ в сообщении
Сервис может обработать только начало и не сказать об этом
Не помещается – отправить частями в одном чате, запрос последним
Сведения в середине длинного текста модель находит хуже, чем в начале и конце
Научные и медицинские тексты: пропуски чаще выдумок
Основным видом ошибок были пропуски (60–74 %), а доля выдуманных значений составляла лишь 0,08–6 %, что расходится с распространённым мнением о выдумках как главной проблеме
Shankar и соавт., 2026, doi.org/10.1016/j.jbi.2026.105086
60–74 %
пропуски
0,08–6 %
доля выдуманных значений
Как извлекать требования
Частые ошибки: пропуск, значение не в той графе, искажение. Их соотношение зависит от задачи и модели. Проценты из исследований – не частоты ошибок для инженерных ТЗ
1
Фиксированные столбцы, включая «пункт» и «условия»
2
Разрешить «не указано»
3
Каждое требование пункта – отдельной строкой
4
Сверить число строк с числом пунктов
5
Проверить каждую строку с числом
Путаница версий
26,7 %
отличить неподходящую редакцию модели удалось
В одном чате две редакции без подписей – в ответе значения из обеих
Модель может ответить по варианту из своих знаний, а не по вашему тексту
Отличить неподходящую редакцию модели удалось лишь в 26,7 % случаев
Подписывайте редакции и сравнивайте обе в одном новом чате
Сравнение редакций
Редактор не пропустит изменение текста, модель объяснит его смысл
1
Обе редакции – в один новый чат, каждую подписать
2
Список различий – функцией сравнения в редакторе
3
Перечень изменений по пунктам – моделью
4
Сверить два списка, каждое расхождение – по тексту
5
Отдельно проверить ложные изменения
Сравнение двух редакций документа
Интерактивная версия – diagrams/d2-sravnenie-redakciy.html
Ссылка на пункт и дословная цитата
Модели часто дают правильный ответ, но ссылаются не на то место документа
1
В запросе: номер пункта и дословная фраза в кавычках
2
В запросе: «если в документе нет – напиши: не найдено»
3
Проверка: найти фразу поиском (Ctrl+F)
4
Проверить, что фраза стоит именно в этом пункте
Как работает помощник по документам (RAG)
1
Документы разбиты на фрагменты и проиндексированы
2
Пользователь задаёт вопрос
3
Программа находит близкие по смыслу фрагменты
4
Модель отвечает по найденному
5
Хороший помощник показывает документ и пункт
Где RAG ошибается
Ответ помощника – указатель на первоисточник, а не сам документ
«RAG отвечает не «истиной», а тем, что нашёл в вашей базе» (А. Морозов)
Нет документа, найден не тот фрагмент, устаревшая редакция
Тихие сбои: ответ гладкий, а основание устарело или обрезано
Подложенный документ может подменить ответ
Как работает помощник по документам и где он ошибается
Интерактивная версия – diagrams/d2-rag.html
Проверка RAG – в эксплуатации
Из нашей работы следуют два главных вывода: 1) проверить систему RAG можно только в ходе эксплуатации; 2) устойчивость системы RAG складывается со временем, а не закладывается в проект с самого начала
Barnett и соавт., 2024, doi.org/10.1145/3644815.3644945
Сканы и снимки: что проверять
На снимке экрана может оказаться больше, чем вы хотели отправить
Знаки «±», «−», верхние индексы (мин⁻¹), единицы А·ч, Н·м
Десятичные запятые и нули
Похожие символы: «З» и «3», «О» и «0»
Все ли строки таблицы на месте, не сдвинулись ли значения
Обозначения и номера модели читают хуже всего
Черновик: что дать модели и что проверить
Общие слова вроде «в целях повышения эффективности» вычеркнуть сразу
Дать всё, на чём строится текст: результаты анализа, перечень изменений, номера пунктов
В запросе: «не добавляй причин и выводов, которых нет в моих данных»
Каждое утверждение подтверждается вашими данными или документом
Нет выдуманных причин, номера пунктов и значения совпадают с документом
Адресат, дата, подпись не придуманы моделью
Проверяемое требование
Критерий приёмки – однозначный признак выполнения: число с допуском и условиями или то, что увидит проверяющий (смазка, отдельный предохранитель)
Есть способ проверки: тест, демонстрация, измерение, анализ, инспекция
«Без проверки это не требование, а пожелание» (курс В. А. Пикова по ТЗ, tz.pikov.expert)
Кодекс из 10 критериев: обязанность, атомарность, однозначность, проверяемость, реализуемость, обоснованность, полнота, непротиворечивость, трассируемость, приоритет
ГОСТ 34.602-2020, п. 5.3: значения – как правило, с предельными отклонениями или мин. и макс.
ГОСТ Р 2.105-2019, п. 5.2.2: «должен», «не допускается» – обязательные требования; «как правило», «при необходимости» – проверить, установлена ли обязанность и её условия
Модель ищет, инженер проверяет
У модели бывают и ложные срабатывания, и пропуски: каждую находку – по тексту, пропуски – по короткой проверке (gate)
Плохо
«Должна надёжно обеспечивать пуск двигателя в зимний период»
«Напряжение, которое поддерживает регулятор, – 28,2 В»
«Контроль напряжения, защита от КЗ и сигнализация разряда» в одном пункте
Хорошо (редакция 2 ТЗ ЭС-24)
П. 4.4: после 14 суток при температуре до −30 °C – не более трёх попыток до 10 с
П. 4.2: при +25 °C – 28,2 ± 0,2 В
Три пункта, у каждого своё значение и своя проверка
Задание 1. Требования редакции 2
30 мин
1
Документ 5 – в таблицу с дословными фразами
2
Сверить строки, числа, условия
3
Найти каждую фразу поиском
4
Вопрос про болты генератора: ответит ли модель «не найдено»?
Составь таблицу: пункт – требование – параметр – значение – условия.
Для каждой строки приведи дословную фразу из пункта в кавычках.
Если условие не указано, пиши «не указано».
Задание 2. Сравнение редакций
35 мин
1
Редакция 1 (кейс первого дня) и редакция 2 (документ 5)
2
Перечень изменений от модели по пунктам
3
Проверка по первоисточнику: пропуски, ложные изменения
4
Что изменения значат для З-1…З-5 и письма поставщика
5
Дальше, в днях 3–5, задания идут по редакции 1, если не сказано иное
Задание 3. Приёмка пакета и нормоконтроль
30 мин
1
Документы 8–10: пакет поставщика, технические требования чертежа, правила Н1–Н7
2
3а. Комплектность: есть / нет / обещано позже
3
3б. Технические требования по правилам; «не проверяется по тексту» – честный ответ
4
3в. Проверить модель: что она сказала о ГОСТ 2.316-2008?
Задание повышенной сложности. Лист изменений к ТЗ и обратная проверка
30–45 мин
1
Для тех, кто справился с основными заданиями. Можно сделать и после занятия
2
Лист изменений: заменить, дополнить, исключить
3
Сверка со своей таблицей изменений
4
Новый чат применяет лист к старой редакции
5
Результат: проверенный лист изменений
Задание 4. Снимок таблицы
15 мин
1
Снимок экрана или фото таблицы документа 5
2
Распознать в сервисе с пометкой [?] для сомнительных символов
3
Сверить с исходником: строки, знаки, единицы, запятые
Задание 5. Документ по вашей роли
45 мин
1
А – служебная записка о выпуске редакции 2
2
Б – ответ поставщику генератора
3
В – протокол совещания по черновым заметкам
4
Г – акт приёмки документации
5
Вычеркнуть неподтверждённое; сроки и ответственные – только из документов
6
Обмен с соседом: найти неточность
Что запомнить
Модель делает черновую работу, проверяет инженер
Частые ошибки – пропуск и не та графа: считаем строки
Редакции подписываем, сверяем со списком различий
Требуем пункт и дословную цитату
RAG отвечает тем, что нашёл в базе
Распознанное – по исходнику
Автор курса – Виталий Пиков
Регалии
Архитектор информационной безопасности · РБПО · DevSecOps · AppSec
Лектор и автор образовательных программ по ИБ и РБПО
Телефон
+7 (963) 782-92-78
vitaly@pikov.expert
Сайт
https://pikov.expert
Telegram
@UnderLineSecurity