Практика к теме 1.2. Запросы к языковой модели для инженерных задач
Время: 4 академических часа (13:45–15:15 и 15:25–16:55). Что понадобится: один-два сервиса, учебный кейс ЭС-24, карточки задач из утренней практики, шаблон запроса из лекции. Правило: только материалы учебного кейса. Свою задачу описываем общими словами, без служебных сведений.
Обязательный минимум: запрос по шаблону из шести частей из лекции 1.2 (за основу возьмите ступень 5 задания 1 с фразами-ограничениями из задания 3 и допишите контекст: кто вы и о чём речь) и свой чек-лист проверки ответа на одну страницу (задание 3). Это обязательная практическая работа модуля 1: оба результата нужны для самостоятельной работы и контрольной точки, а в конце курса войдут в паспорт сценария, в разделы «Запросы» и «Порядок проверки». Задание 2 выполняйте в своём темпе, задание повышенной сложности и упражнения в конце файла – по желанию.
Задание 1. Лестница запроса (70 мин)
Возьмём замечание З-2 о токе покоя и будем дополнять запрос шаг за шагом. Каждый вариант запроса отправляйте в новом чате, чтобы модель не опиралась на предыдущие ответы.
Ступень 1. Одна строка:
Почему у грузовика большой ток покоя?
Ступень 2. Добавляем факты из замечания:
На опытном образце грузового автомобиля с бортовой сетью 24 В ток покоя
через 30 мин после выключения зажигания – 85 мА, через 2 ч – 62 мА.
Почему ток покоя такой большой?
Ступень 3. Добавляем требование и описание узла:
[текст ступени 2]
Требование ТЗ (п. 4.3): ток покоя не более 40 мА через 30 мин после
выключения зажигания.
На стоянке работают: тахограф, охранная система, блок управления двигателем
в дежурном режиме, головное устройство в режиме ожидания.
Батареи: две по 12 В, 190 А·ч, соединены последовательно.
Ступень 4. Добавляем ограничения и формат:
[текст ступени 3]
Генератор и батареи считай исправными. Не предлагай замену узлов без проверки.
Ответ дай таблицей: возможная причина – как проверить – чем измерить –
какой результат подтвердит причину.
Ступень 5. Добавляем критерии проверки и разрешаем вопросы:
[текст ступени 4]
Отдельно объясни превышение 40 мА и снижение тока с 85 до 62 мА.
Допускай сочетание нескольких причин и укажи, какие измерения их различат.
Для каждого вывода укажи, на какие из моих данных он опирается.
Если данных не хватает, сначала задай уточняющие вопросы.
Запишите, что менялось от ступени к ступени:
| Ступень | Что появилось в ответе | Что исчезло или стало лишним | Ошибки и выдумки |
|---|---|---|---|
| 1 | |||
| 2 | |||
| 3 | |||
| 4 | |||
| 5 |
Вопросы для себя: на какой ступени ответ стал пригоден для работы? Какое дополнение к запросу больше всего улучшило ответ? Был ли шаг, после которого ответ не изменился?
Если модель на ступени 5 задала вопросы, ответьте на них, придумав учебные значения. Посмотрите, как изменился ответ.
Задание 2. Таблица требований и сверка замечаний (60 мин)
2а. Требования в таблицу (25 мин)
Отправьте в сервис раздел 2 учебного кейса и попросите таблицу:
Ниже фрагмент технического задания. Составь таблицу со столбцами:
пункт – параметр – значение – единица измерения – условия измерения.
Бери только то, что написано в тексте. Если условие измерения не указано,
пиши «не указано».
[вставьте раздел 2 учебного кейса]
Сверьте таблицу с исходным текстом построчно. Отметьте пропуски, искажённые значения и условия, которые модель добавила от себя.
2б. Сопоставление замечаний с требованиями (35 мин)
В том же диалоге отправьте раздел 3 учебного кейса и попросите:
Сопоставь каждое замечание с пунктами ТЗ. Таблица:
замечание – пункт ТЗ – требование – факт – соответствует / не соответствует /
нельзя оценить. Если подходящего пункта в ТЗ нет, так и напиши.
Не придумывай пункты, которых нет в тексте.
Проверьте результат сами. Проверьте:
- для каких замечаний в ТЗ действительно нет требования, и не приписала ли модель им пункт;
- можно ли по замечанию З-1 сделать вывод о соответствии п. 4.5, если там речь о 9 сутках, а не о 14;
- что модель сделала с замечанием З-3 – какой пункт она выбрала и согласны ли вы.
Задание 3. Свой чек-лист проверки (30 мин)
Возьмите чек-лист из лекции и переделайте его под свою работу. Уберите лишнее, добавьте то, что проверяете всегда: единицы, допуски, ссылки на документы, согласование с соседними узлами.
Проверьте по своему чек-листу ответ, полученный на ступени 5 в задании 1. Запишите, сколько замечаний нашлось и какие пункты чек-листа сработали.
Затем добавьте к запросу ступени 5 три фразы-ограничения из лекции («опирайся только на исходные данные», «перечисли допущения», «отдельно: что сверил, а что нет») и отправьте его в новом чате. Что модель отметила как непроверенное? Совпало ли это с тем, что нашёл ваш чек-лист? Фразы, которые сработали, впишите в свой шаблон запроса.
Результат: чек-лист на одну страницу. Он понадобится в домашнем задании и на следующих занятиях.
Задание повышенной сложности: Черновая запись испытателя: запрос к неряшливым данным (30–45 мин)
Для тех, кто справился с основными заданиями. Можно сделать и после занятия, в своём темпе.
В основных заданиях данные были аккуратными: таблица ТЗ, замечания с цифрами и единицами. Рабочие записи выглядят иначе: единица пропущена, одно и то же значение в двух местах разное, рядом с фактами стоят выводы автора и посторонние фразы. Из лекции 1.2: если данных не хватает, модель подставляет типовые предположения, а неверную посылку чаще принимает, чем поправляет. Здесь вы научитесь писать запрос, который заставляет модель показать такие места, а не сгладить их.
Нужен один сервис. Задание можно выполнить и после занятия. Каждый шаг заканчивается записью: если отвлеклись, продолжайте со следующего шага.
Учебная запись ниже составлена для упражнения, значения условные. В ней специально оставлены неточности, как в учебном ответе из раздела 4 кейса. Данные кейса не меняются: при расхождении верен кейс.
Черновая запись испытателя (учебная, значения условные)
По З-1. Батареи перед стоянкой зарядили полностью. Стояли 9 суток,
ночью до −22, днём около −18. Перед пуском НРЦ: первая 11,9, вторая
12,0 – по 4.5 укладываемся, там 12 В. С первой попытки не завёлся,
со второй пошёл. Заодно проверили омыватель лобового стекла – работает.
По З-2. Ток покоя через полчаса после выключения зажигания 0,085 А,
через 2 ч – 62. Чем мерили, не записал.
Итого: за две недели стоянки батареи просели незначительно, пуск
в норме.
Шаг 1. Свой список (5 мин). Прочитайте запись сами, ничего пока не отправляя. Выпишите всё, что мешает взять её в работу. Этот список – ваш эталон для шагов 2 и 4.
| Место в записи | Что не так | Что с этим делать |
|---|---|---|
Подсказка по видам: пропущенная единица, другая единица, чем в ТЗ, значения, которые расходятся между собой, вывод автора записи вместо факта, неверно переданное требование, посторонняя фраза, не записанное условие измерения.
Шаг 2. Простой запрос (5–10 мин). В новом чате отправьте:
Ниже черновая запись испытателя по замечаниям З-1 и З-2.
Сделай из неё таблицу: замечание – параметр – значение – единица.
[вставьте учебную запись]
Сравните таблицу со своим списком. Что модель исправила без отметки? Какое из двух расходящихся значений выбрала? Какие выводы автора записи перенесла как факты? Запишите в таблицу шага 4, в столбец «Простой запрос».
Шаг 3. Запрос для черновых данных (10 мин). В новом чате отправьте:
Ниже черновая запись испытателя по замечаниям З-1 и З-2 и фрагмент ТЗ.
Сделай таблицу: замечание – параметр – значение как в записи –
единица в записи – значение в единицах ТЗ – комментарий.
Правила:
- значения не исправляй и не додумывай; перевод единиц покажи в строке;
- если единица не указана, пиши «не указана» и не подставляй её;
- если значения в записи расходятся, выпиши оба и отметь расхождение;
- выводы и оценки автора записи вынеси отдельным списком и каждый
сверь с пунктами ТЗ;
- фразы, которые не относятся к З-1 и З-2, перечисли отдельно;
- в конце: каких сведений не хватает, чтобы оценить замечания.
Если исходные данные противоречат друг другу или физике, скажи об этом.
[вставьте учебную запись]
[вставьте раздел 2 учебного кейса]
Шаг 4. Проверка (10 мин). Для каждого места из вашего списка отметьте, что с ним сделала модель в обоих запросах: показала, пропустила или исправила без отметки.
| Место из вашего списка | Простой запрос | Запрос для черновых данных |
|---|---|---|
Затем проверьте сами правила второго запроса. Нет ли в таблице значений и единиц, которых нет в записи? Каждый вывод автора, который модель вынесла в отдельный список, сверьте с ТЗ сами: модель может написать «сверено» и ошибиться. Если модель нарушила правило, запишите какое.
Шаг 5. Блок для своего шаблона (5–10 мин). Перенесите правила, которые сработали, в свой шаблон запроса отдельным блоком «Если исходные данные – черновые записи». Правило, которое модель нарушила, переформулируйте и проверьте ещё раз в новом чате. Затем подумайте о своей работе: какие неточности обычно бывают в ваших черновых записях, журналах или пометках? Добавьте правило под них, описав его общими словами.
Результат: блок правил для черновых данных в вашем шаблоне запроса и таблица сравнения двух запросов. Блок пригодится в самостоятельной работе, если для своей задачи вы составите придуманный пример черновых данных, и в разделе «Запросы» паспорта сценария.
Как понять, что получилось:
- список из шага 1 составлен до отправки первого запроса;
- для каждого места из списка отмечено, что с ним сделала модель в обоих запросах;
- выводы автора записи сверены с ТЗ вами, а не только моделью;
- найдено хотя бы одно нарушенное правило или проверено, что все правила соблюдены;
- в шаблоне есть блок для черновых данных, и каждое правило в нём проверено на этой записи.
Сдавать ничего не нужно. В подведении итогов можно рассказать, какое место в записи модель сгладила без отметки.
Подведение итогов (20 мин)
- Какая часть запроса больше всего повлияла на качество ответа?
- Где модель выдумала больше всего: в рассуждениях, цифрах или ссылках на пункты?
- Что войдёт в ваш личный шаблон запроса?
2–3 слушателя рассказывают свой результат, преподаватель подводит итог. Если желающих рассказать нет, преподаватель показывает типичный результат по ступеням задания 1 и по заданию 2б и сам подводит итог по двум-трём главным выводам.
Ещё упражнения по желанию
- Образец в запросе. В задании 2а добавьте одну заполненную строку таблицы как пример. Изменился ли формат остальных строк?
- Модель проверяет себя. Попросите модель проверить свой ответ из задания 2б по исходному тексту и перечислить, что она исправила бы. Сравните с тем, что нашли вы сами. Самопроверка не заменяет вашу: модель может пропустить те же ошибки.
- Режим рассуждения. Отправьте ступень 5 в одном сервисе дважды, каждый раз в новом чате: с режимом рассуждения и без него. Поиск в обоих случаях включите или выключите одинаково, запишите сервис и модель, которую он показывает. Отдельно сравните ступени 2 и 5 в одном режиме. Различия вы увидите, но по одной паре ответов нельзя установить их причину: ответы модели и сами по себе отличаются от раза к разу.
- Разные модели. Если на занятии доступны DeepSeek или Qwen (только с учебным кейсом), отправьте ступень 5 туда же и сравните таблицы. Одинаковы ли причины, на которые указывают модели?
- Запрос к запросу. Попросите модель саму составить запрос: «Напиши подробный запрос к языковой модели для разбора замечания З-2 по описанию узла, которое я вставлю ниже. В запросе должны быть контекст, исходные данные, ограничения, формат ответа и критерии проверки». Отправьте полученный запрос в новом чате и сравните ответ с вашей ступенью 5. Что модель добавила, а что упустила?
Автор курса
Виталий Пиков
- Архитектор информационной безопасности • РБПО • DevSecOps • AppSec
- Лектор и автор образовательных программ по ИБ и РБПО
Телефон: +7 (963) 782-92-78 · E-mail: vitaly@pikov.expert · Сайт: https://pikov.expert · Telegram: @UnderLineSecurity