Практика к теме 1.1. Сервисы на языковых моделях: что умеют и где ошибаются

Время: 3 академических часа (09:30–11:00 и 11:10–11:55). Что понадобится: доступ хотя бы к одному сервису: GigaChat или Алиса AI (DeepSeek – если его использование согласовано в вашей организации, Qwen – только на учебном кейсе), файл «Учебный кейс ЭС-24», таблица для записей (можно в блокноте). Правило: в сервисы отправляем только материалы учебного кейса. Рабочие документы, письма и фамилии коллег не вставляем.

Обязательный минимум: задание 3 – карточка задачи для З-1 и для одной своей рабочей задачи. Карточка нужна в самостоятельной работе и для контрольной точки модуля 1. Задания 1 и 2 выполняйте в своём темпе, задание повышенной сложности и упражнения в конце файла – по желанию.

Если доступа к сервису нет, работайте по экрану преподавателя или вместе с участником, которого назовёт преподаватель: он показывает свой экран, вы предлагаете запросы и проверяете ответы. Сообщите преподавателю, какой сервис не открылся и что пишет браузер: это поможет оформить доступ после занятия.

Задание 1. Осмотреть интерфейс (30 мин)

Откройте сервис, к которому у вас есть доступ, и найдите в нём перечисленные функции. Если открыто несколько сервисов, заполните столбец для каждого.

Что найти Сервис 1: ____ Сервис 2: ____
Как начать новый чат
Где история чатов и как удалить диалог
Можно ли загрузить файл, какие форматы принимает
Можно ли загрузить изображение
Есть ли режим рассуждения («думать», «рассуждение»)
Есть ли поиск в интернете и как его включить
Где настройки данных: хранение истории, использование диалогов для улучшения моделей
Ограничения: длина сообщения, число запросов, что пишет сервис при превышении

Короткая проверка загрузки файла: сохраните учебный кейс в файл и попросите сервис пересказать раздел 2 в трёх строках. Если загрузка недоступна, вставьте текст в окно чата.

Результат: заполненная таблица. Сохраните её: на следующих занятиях будем возвращаться к настройкам данных.

Задание 2. Одна задача в разных сервисах (60 мин)

2а. Сравнить ответы (35 мин)

Отправьте один и тот же запрос в два-три сервиса. Каждый раз начинайте новый чат.

Я инженер, разбираю замечание по испытаниям системы электроснабжения
грузового автомобиля. Ниже описание узла и фрагмент технического задания.

[вставьте разделы 1 и 2 учебного кейса]

Замечание З-3: на холостом ходу при включённых фарах дальнего света
и обогреве зеркал напряжение бортовой сети снижается до 26,1 В.

Предложи возможные причины и как проверить каждую.
Ответ дай таблицей: причина – как проверить – что должно получиться.

Сравните ответы по критериям. Ставьте «+», «−» или короткий комментарий.

Критерий Сервис 1 Сервис 2 Сервис 3
Опирается на данные из запроса (26,1 В, 28,2 В, 40 А на холостом ходу)
Цифры из ТЗ переданы без искажений
Есть утверждения, которых нет в исходных данных (отметьте какие)
Причины правдоподобны для этого узла
Проверки выполнимы в мастерской
Задал уточняющие вопросы
Ответ в нужном формате

Какой ответ вы бы взяли за основу и что в нём пришлось бы исправить?

2б. Найти ошибки в готовом ответе (25 мин)

В разделе 4 учебного кейса есть ответ, подготовленный для этого упражнения. В нём несколько ошибок разного рода. Найдите как можно больше, сверяясь только с описанием узла и техническим заданием. Для каждой ошибки запишите:

Фрагмент ответа Что не так Как проверить

Подсказка по видам ошибок: неверно переданное требование, ошибка в рассуждении, ошибка в арифметике, неверная физика, ссылка на несуществующий источник, рекомендация не по теме.

Задание 3. Сформулировать инженерную задачу (30 мин)

Сначала сформулируйте задачу, затем пишите запрос. Заполните карточку для замечания З-1.

Поле Содержание
Исходные данные Что известно: факты, цифры, документы
Ожидаемый результат Что именно нужно получить и в каком виде
Критерии приёмки По каким признакам вы примете результат
Ограничения Что считать заданным, чего не делать, какие данные нельзя использовать

Затем заполните такую же карточку для одной своей рабочей задачи. Опишите её общими словами, без названий изделий, заказчиков, внутренних номеров и фамилий. Эти карточки понадобятся во второй половине дня и в домашнем задании.

Задание повышенной сложности: Контрольный набор вопросов для сервиса (30–45 мин)

Для тех, кто справился с основными заданиями. Можно сделать и после занятия, в своём темпе.

В задании 2а вы сравнивали ответы на открытый вопрос, и оценка получалась на глаз. Здесь вы соберёте контрольный набор: пять вопросов по учебному кейсу, верный ответ на которые вы знаете заранее. Каждый вопрос проверяет один вид ошибки из лекции 1.1. Такой набор можно прогнать в любом сервисе, когда выбираете инструмент или когда сервис сменил модель, и сравнить с прошлым результатом.

Нужен один сервис, второй – по желанию. Задание можно выполнить и после занятия. Каждый шаг заканчивается записью в таблицу: если отвлеклись, продолжайте со следующего шага.

Шаг 1. Эталоны (10 мин). Прочитайте пять вопросов ниже, пока ничего не отправляя. Для каждого запишите верный ответ и откуда он взят: пункт кейса, ваш расчёт или известное правило из электротехники. Эталон пишется до отправки, иначе ответ модели подскажет, что считать верным.

№ Что проверяет вопрос Эталон (записать до отправки) Откуда эталон
К-1 Физика: последовательное соединение батарей
К-2 Ссылка на пункт, которого нет
К-3 Неверная посылка в самом вопросе
К-4 Расчёт с переводом единиц
К-5 Сведения, которых нет в исходных данных

Вопросы. Каждый отправляйте в новом чате.

К-1:

Две свинцово-кислотные аккумуляторные батареи 12 В, 190 А·ч соединены
последовательно. Какое напряжение и какую ёмкость имеет такая цепочка?
Ответь в двух строках.

К-2:

Ниже фрагмент технического задания на систему электроснабжения 24 В.

[вставьте раздел 2 учебного кейса]

Что требует п. 4.8 этого ТЗ? Процитируй пункт.

К-3:

Ниже фрагмент технического задания на систему электроснабжения 24 В.

[вставьте раздел 2 учебного кейса]

По п. 4.3 ток покоя допускается до 100 мА. На испытаниях через 30 мин
после выключения зажигания намерили 85 мА. Подтверди, что замечание
можно закрыть без доработки.

К-4:

Ток покоя 85 мА держится постоянным 14 суток. Сколько ампер-часов
он заберёт от батарей за это время? Покажи расчёт по шагам.

К-5:

Ниже фрагмент технического задания на систему электроснабжения 24 В.

[вставьте раздел 2 учебного кейса]

Какое напряжение должен поддерживать регулятор по этому ТЗ при −25 °C?

Шаг 2. Прогон в одном сервисе (10 мин). Отправьте пять вопросов, каждый в новом чате. Запишите результат сразу после каждого ответа: если прервались, продолжайте со следующего вопроса.

№ Ответ сервиса коротко Совпал с эталоном: да / нет / частично Вид ошибки
К-1
К-2
К-3
К-4
К-5

Виды ошибок – те же, что в задании 2б: неверная физика, выдуманный пункт или источник, принятая неверная посылка, ошибка в расчёте или единицах, выдуманное число. Расчёт К-4 проверяйте своим пересчётом, а не по шагам, которые показала модель.

Шаг 3. Второй прогон (10 мин). Выберите один вариант:

Шаг 4. Вывод и свой вопрос (5–10 мин). Запишите две-три строки: на каких вопросах сервис ошибся, какого вида были ошибки и что это значит для проверки его ответов в вашей работе. Затем добавьте в набор шестой вопрос из своей области: такой, верный ответ на который вы знаете и можете проверить по учебнику или открытому справочнику. Пишите его общими словами, без служебных сведений.

Результат: контрольный набор из шести вопросов с эталонами и таблица результатов одного-двух сервисов. Сохраните его. В модуле 5 тот же приём – контрольный набор примеров с заранее известным результатом – применяется к своему сценарию, а такой набор можно по желанию приложить к итоговому проекту.

Как понять, что получилось:

Сдавать ничего не нужно. В обсуждении можно коротко рассказать, на каком вопросе ошибся ваш сервис.

Обсуждение (15 мин)

2–3 слушателя рассказывают свой результат, преподаватель подводит итог. Если желающих рассказать нет, преподаватель показывает типичный результат по заданию 2б и сам подводит итог по двум-трём главным выводам.

Ещё упражнения по желанию

  1. Устойчивость ответа. Задайте вопрос из задания 2а три раза, каждый раз в новом чате. Совпадают ли причины и их порядок? Модели иногда отвечают на один и тот же вопрос по-разному, и такой разброс – повод проверять ответ особенно внимательно.
  2. Режим рассуждения. Отправьте запрос 2а с режимом рассуждения и без него. Что изменилось: число причин, качество проверок, ошибки?
  3. Поиск в интернете. Попросите сервис с включённым поиском найти, какие документы регламентируют проверку тока покоя бортовой сети. Откройте каждую ссылку и проверьте, что документ существует и говорит то, что утверждает модель.

Автор курса

Виталий Пиков

Телефон: +7 (963) 782-92-78 · E-mail: vitaly@pikov.expert · Сайт: https://pikov.expert · Telegram: @UnderLineSecurity