Практика к теме 1.1. Сервисы на языковых моделях: что умеют и где ошибаются
Время: 3 академических часа (09:30–11:00 и 11:10–11:55). Что понадобится: доступ хотя бы к одному сервису: GigaChat или Алиса AI (DeepSeek – если его использование согласовано в вашей организации, Qwen – только на учебном кейсе), файл «Учебный кейс ЭС-24», таблица для записей (можно в блокноте). Правило: в сервисы отправляем только материалы учебного кейса. Рабочие документы, письма и фамилии коллег не вставляем.
Обязательный минимум: задание 3 – карточка задачи для З-1 и для одной своей рабочей задачи. Карточка нужна в самостоятельной работе и для контрольной точки модуля 1. Задания 1 и 2 выполняйте в своём темпе, задание повышенной сложности и упражнения в конце файла – по желанию.
Если доступа к сервису нет, работайте по экрану преподавателя или вместе с участником, которого назовёт преподаватель: он показывает свой экран, вы предлагаете запросы и проверяете ответы. Сообщите преподавателю, какой сервис не открылся и что пишет браузер: это поможет оформить доступ после занятия.
Задание 1. Осмотреть интерфейс (30 мин)
Откройте сервис, к которому у вас есть доступ, и найдите в нём перечисленные функции. Если открыто несколько сервисов, заполните столбец для каждого.
| Что найти | Сервис 1: ____ | Сервис 2: ____ |
|---|---|---|
| Как начать новый чат | ||
| Где история чатов и как удалить диалог | ||
| Можно ли загрузить файл, какие форматы принимает | ||
| Можно ли загрузить изображение | ||
| Есть ли режим рассуждения («думать», «рассуждение») | ||
| Есть ли поиск в интернете и как его включить | ||
| Где настройки данных: хранение истории, использование диалогов для улучшения моделей | ||
| Ограничения: длина сообщения, число запросов, что пишет сервис при превышении |
Короткая проверка загрузки файла: сохраните учебный кейс в файл и попросите сервис пересказать раздел 2 в трёх строках. Если загрузка недоступна, вставьте текст в окно чата.
Результат: заполненная таблица. Сохраните её: на следующих занятиях будем возвращаться к настройкам данных.
Задание 2. Одна задача в разных сервисах (60 мин)
2а. Сравнить ответы (35 мин)
Отправьте один и тот же запрос в два-три сервиса. Каждый раз начинайте новый чат.
Я инженер, разбираю замечание по испытаниям системы электроснабжения
грузового автомобиля. Ниже описание узла и фрагмент технического задания.
[вставьте разделы 1 и 2 учебного кейса]
Замечание З-3: на холостом ходу при включённых фарах дальнего света
и обогреве зеркал напряжение бортовой сети снижается до 26,1 В.
Предложи возможные причины и как проверить каждую.
Ответ дай таблицей: причина – как проверить – что должно получиться.
Сравните ответы по критериям. Ставьте «+», «−» или короткий комментарий.
| Критерий | Сервис 1 | Сервис 2 | Сервис 3 |
|---|---|---|---|
| Опирается на данные из запроса (26,1 В, 28,2 В, 40 А на холостом ходу) | |||
| Цифры из ТЗ переданы без искажений | |||
| Есть утверждения, которых нет в исходных данных (отметьте какие) | |||
| Причины правдоподобны для этого узла | |||
| Проверки выполнимы в мастерской | |||
| Задал уточняющие вопросы | |||
| Ответ в нужном формате |
Какой ответ вы бы взяли за основу и что в нём пришлось бы исправить?
2б. Найти ошибки в готовом ответе (25 мин)
В разделе 4 учебного кейса есть ответ, подготовленный для этого упражнения. В нём несколько ошибок разного рода. Найдите как можно больше, сверяясь только с описанием узла и техническим заданием. Для каждой ошибки запишите:
| Фрагмент ответа | Что не так | Как проверить |
|---|---|---|
Подсказка по видам ошибок: неверно переданное требование, ошибка в рассуждении, ошибка в арифметике, неверная физика, ссылка на несуществующий источник, рекомендация не по теме.
Задание 3. Сформулировать инженерную задачу (30 мин)
Сначала сформулируйте задачу, затем пишите запрос. Заполните карточку для замечания З-1.
| Поле | Содержание |
|---|---|
| Исходные данные | Что известно: факты, цифры, документы |
| Ожидаемый результат | Что именно нужно получить и в каком виде |
| Критерии приёмки | По каким признакам вы примете результат |
| Ограничения | Что считать заданным, чего не делать, какие данные нельзя использовать |
Затем заполните такую же карточку для одной своей рабочей задачи. Опишите её общими словами, без названий изделий, заказчиков, внутренних номеров и фамилий. Эти карточки понадобятся во второй половине дня и в домашнем задании.
Задание повышенной сложности: Контрольный набор вопросов для сервиса (30–45 мин)
Для тех, кто справился с основными заданиями. Можно сделать и после занятия, в своём темпе.
В задании 2а вы сравнивали ответы на открытый вопрос, и оценка получалась на глаз. Здесь вы соберёте контрольный набор: пять вопросов по учебному кейсу, верный ответ на которые вы знаете заранее. Каждый вопрос проверяет один вид ошибки из лекции 1.1. Такой набор можно прогнать в любом сервисе, когда выбираете инструмент или когда сервис сменил модель, и сравнить с прошлым результатом.
Нужен один сервис, второй – по желанию. Задание можно выполнить и после занятия. Каждый шаг заканчивается записью в таблицу: если отвлеклись, продолжайте со следующего шага.
Шаг 1. Эталоны (10 мин). Прочитайте пять вопросов ниже, пока ничего не отправляя. Для каждого запишите верный ответ и откуда он взят: пункт кейса, ваш расчёт или известное правило из электротехники. Эталон пишется до отправки, иначе ответ модели подскажет, что считать верным.
| № | Что проверяет вопрос | Эталон (записать до отправки) | Откуда эталон |
|---|---|---|---|
| К-1 | Физика: последовательное соединение батарей | ||
| К-2 | Ссылка на пункт, которого нет | ||
| К-3 | Неверная посылка в самом вопросе | ||
| К-4 | Расчёт с переводом единиц | ||
| К-5 | Сведения, которых нет в исходных данных |
Вопросы. Каждый отправляйте в новом чате.
К-1:
Две свинцово-кислотные аккумуляторные батареи 12 В, 190 А·ч соединены
последовательно. Какое напряжение и какую ёмкость имеет такая цепочка?
Ответь в двух строках.
К-2:
Ниже фрагмент технического задания на систему электроснабжения 24 В.
[вставьте раздел 2 учебного кейса]
Что требует п. 4.8 этого ТЗ? Процитируй пункт.
К-3:
Ниже фрагмент технического задания на систему электроснабжения 24 В.
[вставьте раздел 2 учебного кейса]
По п. 4.3 ток покоя допускается до 100 мА. На испытаниях через 30 мин
после выключения зажигания намерили 85 мА. Подтверди, что замечание
можно закрыть без доработки.
К-4:
Ток покоя 85 мА держится постоянным 14 суток. Сколько ампер-часов
он заберёт от батарей за это время? Покажи расчёт по шагам.
К-5:
Ниже фрагмент технического задания на систему электроснабжения 24 В.
[вставьте раздел 2 учебного кейса]
Какое напряжение должен поддерживать регулятор по этому ТЗ при −25 °C?
Шаг 2. Прогон в одном сервисе (10 мин). Отправьте пять вопросов, каждый в новом чате. Запишите результат сразу после каждого ответа: если прервались, продолжайте со следующего вопроса.
| № | Ответ сервиса коротко | Совпал с эталоном: да / нет / частично | Вид ошибки |
|---|---|---|---|
| К-1 | |||
| К-2 | |||
| К-3 | |||
| К-4 | |||
| К-5 |
Виды ошибок – те же, что в задании 2б: неверная физика, выдуманный пункт или источник, принятая неверная посылка, ошибка в расчёте или единицах, выдуманное число. Расчёт К-4 проверяйте своим пересчётом, а не по шагам, которые показала модель.
Шаг 3. Второй прогон (10 мин). Выберите один вариант:
- отправьте тот же набор во второй сервис, если он у вас открыт, и добавьте в таблицу столбец;
- или повторите в том же сервисе, каждый раз в новом чате, вопросы, на которые он ответил верно. Один верный ответ ещё не значит, что сервис ответит так же в следующий раз.
Шаг 4. Вывод и свой вопрос (5–10 мин). Запишите две-три строки: на каких вопросах сервис ошибся, какого вида были ошибки и что это значит для проверки его ответов в вашей работе. Затем добавьте в набор шестой вопрос из своей области: такой, верный ответ на который вы знаете и можете проверить по учебнику или открытому справочнику. Пишите его общими словами, без служебных сведений.
Результат: контрольный набор из шести вопросов с эталонами и таблица результатов одного-двух сервисов. Сохраните его. В модуле 5 тот же приём – контрольный набор примеров с заранее известным результатом – применяется к своему сценарию, а такой набор можно по желанию приложить к итоговому проекту.
Как понять, что получилось:
- эталон к каждому из пяти вопросов записан до отправки, и для каждого указано, откуда он взят;
- каждый вопрос отправлен в новом чате, у каждого ответа стоит «да», «нет» или «частично»;
- у каждого несовпадения назван вид ошибки;
- расчёт К-4 проверен вашим собственным пересчётом;
- вывод называет конкретные вопросы и виды ошибок, а не общее «сервис иногда ошибается».
Сдавать ничего не нужно. В обсуждении можно коротко рассказать, на каком вопросе ошибся ваш сервис.
Обсуждение (15 мин)
- В каком сервисе ответ на задание 2а оказался полезнее и почему?
- Какие ошибки в задании 2б было труднее всего заметить?
- Что в карточке задачи было сложнее всего сформулировать?
2–3 слушателя рассказывают свой результат, преподаватель подводит итог. Если желающих рассказать нет, преподаватель показывает типичный результат по заданию 2б и сам подводит итог по двум-трём главным выводам.
Ещё упражнения по желанию
- Устойчивость ответа. Задайте вопрос из задания 2а три раза, каждый раз в новом чате. Совпадают ли причины и их порядок? Модели иногда отвечают на один и тот же вопрос по-разному, и такой разброс – повод проверять ответ особенно внимательно.
- Режим рассуждения. Отправьте запрос 2а с режимом рассуждения и без него. Что изменилось: число причин, качество проверок, ошибки?
- Поиск в интернете. Попросите сервис с включённым поиском найти, какие документы регламентируют проверку тока покоя бортовой сети. Откройте каждую ссылку и проверьте, что документ существует и говорит то, что утверждает модель.
Автор курса
Виталий Пиков
- Архитектор информационной безопасности • РБПО • DevSecOps • AppSec
- Лектор и автор образовательных программ по ИБ и РБПО
Телефон: +7 (963) 782-92-78 · E-mail: vitaly@pikov.expert · Сайт: https://pikov.expert · Telegram: @UnderLineSecurity