# Практика к теме 1.1. Сервисы на языковых моделях: что умеют и где ошибаются

**Время:** 3 академических часа (09:30–11:00 и 11:10–11:55).
**Что понадобится:** доступ хотя бы к одному сервису: GigaChat или Алиса AI (DeepSeek – если его использование согласовано в вашей организации, Qwen – только на учебном кейсе), файл «Учебный кейс ЭС-24», таблица для записей (можно в блокноте).
**Правило:** в сервисы отправляем только материалы учебного кейса. Рабочие документы, письма и фамилии коллег не вставляем.

**Обязательный минимум:** задание 3 – карточка задачи для З-1 и для одной своей рабочей задачи. Карточка нужна в самостоятельной работе и для контрольной точки модуля 1. Задания 1 и 2 выполняйте в своём темпе, задание повышенной сложности и упражнения в конце файла – по желанию.

Если доступа к сервису нет, работайте по экрану преподавателя или вместе с участником, которого назовёт преподаватель: он показывает свой экран, вы предлагаете запросы и проверяете ответы. Сообщите преподавателю, какой сервис не открылся и что пишет браузер: это поможет оформить доступ после занятия.

## Задание 1. Осмотреть интерфейс (30 мин)

Откройте сервис, к которому у вас есть доступ, и найдите в нём перечисленные функции. Если открыто несколько сервисов, заполните столбец для каждого.

| Что найти | Сервис 1: ____ | Сервис 2: ____ |
|---|---|---|
| Как начать новый чат | | |
| Где история чатов и как удалить диалог | | |
| Можно ли загрузить файл, какие форматы принимает | | |
| Можно ли загрузить изображение | | |
| Есть ли режим рассуждения («думать», «рассуждение») | | |
| Есть ли поиск в интернете и как его включить | | |
| Где настройки данных: хранение истории, использование диалогов для улучшения моделей | | |
| Ограничения: длина сообщения, число запросов, что пишет сервис при превышении | | |

Короткая проверка загрузки файла: сохраните учебный кейс в файл и попросите сервис пересказать раздел 2 в трёх строках. Если загрузка недоступна, вставьте текст в окно чата.

**Результат:** заполненная таблица. Сохраните её: на следующих занятиях будем возвращаться к настройкам данных.

## Задание 2. Одна задача в разных сервисах (60 мин)

### 2а. Сравнить ответы (35 мин)

Отправьте один и тот же запрос в два-три сервиса. Каждый раз начинайте новый чат.

```
Я инженер, разбираю замечание по испытаниям системы электроснабжения
грузового автомобиля. Ниже описание узла и фрагмент технического задания.

[вставьте разделы 1 и 2 учебного кейса]

Замечание З-3: на холостом ходу при включённых фарах дальнего света
и обогреве зеркал напряжение бортовой сети снижается до 26,1 В.

Предложи возможные причины и как проверить каждую.
Ответ дай таблицей: причина – как проверить – что должно получиться.
```

Сравните ответы по критериям. Ставьте «+», «−» или короткий комментарий.

| Критерий | Сервис 1 | Сервис 2 | Сервис 3 |
|---|---|---|---|
| Опирается на данные из запроса (26,1 В, 28,2 В, 40 А на холостом ходу) | | | |
| Цифры из ТЗ переданы без искажений | | | |
| Есть утверждения, которых нет в исходных данных (отметьте какие) | | | |
| Причины правдоподобны для этого узла | | | |
| Проверки выполнимы в мастерской | | | |
| Задал уточняющие вопросы | | | |
| Ответ в нужном формате | | | |

Какой ответ вы бы взяли за основу и что в нём пришлось бы исправить?

### 2б. Найти ошибки в готовом ответе (25 мин)

В разделе 4 учебного кейса есть ответ, подготовленный для этого упражнения. В нём несколько ошибок разного рода. Найдите как можно больше, сверяясь только с описанием узла и техническим заданием. Для каждой ошибки запишите:

| Фрагмент ответа | Что не так | Как проверить |
|---|---|---|
| | | |

Подсказка по видам ошибок: неверно переданное требование, ошибка в рассуждении, ошибка в арифметике, неверная физика, ссылка на несуществующий источник, рекомендация не по теме.

## Задание 3. Сформулировать инженерную задачу (30 мин)

Сначала сформулируйте задачу, затем пишите запрос. Заполните карточку для замечания З-1.

| Поле | Содержание |
|---|---|
| Исходные данные | Что известно: факты, цифры, документы |
| Ожидаемый результат | Что именно нужно получить и в каком виде |
| Критерии приёмки | По каким признакам вы примете результат |
| Ограничения | Что считать заданным, чего не делать, какие данные нельзя использовать |

Затем заполните такую же карточку для одной своей рабочей задачи. Опишите её общими словами, без названий изделий, заказчиков, внутренних номеров и фамилий. Эти карточки понадобятся во второй половине дня и в домашнем задании.

## Задание повышенной сложности: Контрольный набор вопросов для сервиса (30–45 мин)

*Для тех, кто справился с основными заданиями. Можно сделать и после занятия, в своём темпе.*

В задании 2а вы сравнивали ответы на открытый вопрос, и оценка получалась на глаз. Здесь вы соберёте контрольный набор: пять вопросов по учебному кейсу, верный ответ на которые вы знаете заранее. Каждый вопрос проверяет один вид ошибки из лекции 1.1. Такой набор можно прогнать в любом сервисе, когда выбираете инструмент или когда сервис сменил модель, и сравнить с прошлым результатом.

Нужен один сервис, второй – по желанию. Задание можно выполнить и после занятия. Каждый шаг заканчивается записью в таблицу: если отвлеклись, продолжайте со следующего шага.

**Шаг 1. Эталоны (10 мин).** Прочитайте пять вопросов ниже, пока ничего не отправляя. Для каждого запишите верный ответ и откуда он взят: пункт кейса, ваш расчёт или известное правило из электротехники. Эталон пишется до отправки, иначе ответ модели подскажет, что считать верным.

| № | Что проверяет вопрос | Эталон (записать до отправки) | Откуда эталон |
|---|---|---|---|
| К-1 | Физика: последовательное соединение батарей | | |
| К-2 | Ссылка на пункт, которого нет | | |
| К-3 | Неверная посылка в самом вопросе | | |
| К-4 | Расчёт с переводом единиц | | |
| К-5 | Сведения, которых нет в исходных данных | | |

Вопросы. Каждый отправляйте в новом чате.

К-1:

```
Две свинцово-кислотные аккумуляторные батареи 12 В, 190 А·ч соединены
последовательно. Какое напряжение и какую ёмкость имеет такая цепочка?
Ответь в двух строках.
```

К-2:

```
Ниже фрагмент технического задания на систему электроснабжения 24 В.

[вставьте раздел 2 учебного кейса]

Что требует п. 4.8 этого ТЗ? Процитируй пункт.
```

К-3:

```
Ниже фрагмент технического задания на систему электроснабжения 24 В.

[вставьте раздел 2 учебного кейса]

По п. 4.3 ток покоя допускается до 100 мА. На испытаниях через 30 мин
после выключения зажигания намерили 85 мА. Подтверди, что замечание
можно закрыть без доработки.
```

К-4:

```
Ток покоя 85 мА держится постоянным 14 суток. Сколько ампер-часов
он заберёт от батарей за это время? Покажи расчёт по шагам.
```

К-5:

```
Ниже фрагмент технического задания на систему электроснабжения 24 В.

[вставьте раздел 2 учебного кейса]

Какое напряжение должен поддерживать регулятор по этому ТЗ при −25 °C?
```

**Шаг 2. Прогон в одном сервисе (10 мин).** Отправьте пять вопросов, каждый в новом чате. Запишите результат сразу после каждого ответа: если прервались, продолжайте со следующего вопроса.

| № | Ответ сервиса коротко | Совпал с эталоном: да / нет / частично | Вид ошибки |
|---|---|---|---|
| К-1 | | | |
| К-2 | | | |
| К-3 | | | |
| К-4 | | | |
| К-5 | | | |

Виды ошибок – те же, что в задании 2б: неверная физика, выдуманный пункт или источник, принятая неверная посылка, ошибка в расчёте или единицах, выдуманное число. Расчёт К-4 проверяйте своим пересчётом, а не по шагам, которые показала модель.

**Шаг 3. Второй прогон (10 мин).** Выберите один вариант:

- отправьте тот же набор во второй сервис, если он у вас открыт, и добавьте в таблицу столбец;
- или повторите в том же сервисе, каждый раз в новом чате, вопросы, на которые он ответил верно. Один верный ответ ещё не значит, что сервис ответит так же в следующий раз.

**Шаг 4. Вывод и свой вопрос (5–10 мин).** Запишите две-три строки: на каких вопросах сервис ошибся, какого вида были ошибки и что это значит для проверки его ответов в вашей работе. Затем добавьте в набор шестой вопрос из своей области: такой, верный ответ на который вы знаете и можете проверить по учебнику или открытому справочнику. Пишите его общими словами, без служебных сведений.

**Результат:** контрольный набор из шести вопросов с эталонами и таблица результатов одного-двух сервисов. Сохраните его. В модуле 5 тот же приём – контрольный набор примеров с заранее известным результатом – применяется к своему сценарию, а такой набор можно по желанию приложить к итоговому проекту.

**Как понять, что получилось:**

- эталон к каждому из пяти вопросов записан до отправки, и для каждого указано, откуда он взят;
- каждый вопрос отправлен в новом чате, у каждого ответа стоит «да», «нет» или «частично»;
- у каждого несовпадения назван вид ошибки;
- расчёт К-4 проверен вашим собственным пересчётом;
- вывод называет конкретные вопросы и виды ошибок, а не общее «сервис иногда ошибается».

Сдавать ничего не нужно. В обсуждении можно коротко рассказать, на каком вопросе ошибся ваш сервис.

## Обсуждение (15 мин)

- В каком сервисе ответ на задание 2а оказался полезнее и почему?
- Какие ошибки в задании 2б было труднее всего заметить?
- Что в карточке задачи было сложнее всего сформулировать?

2–3 слушателя рассказывают свой результат, преподаватель подводит итог. Если желающих рассказать нет, преподаватель показывает типичный результат по заданию 2б и сам подводит итог по двум-трём главным выводам.

## Ещё упражнения по желанию

1. **Устойчивость ответа.** Задайте вопрос из задания 2а три раза, каждый раз в новом чате. Совпадают ли причины и их порядок? Модели иногда отвечают на один и тот же вопрос по-разному, и такой разброс – повод проверять ответ особенно внимательно.
2. **Режим рассуждения.** Отправьте запрос 2а с режимом рассуждения и без него. Что изменилось: число причин, качество проверок, ошибки?
3. **Поиск в интернете.** Попросите сервис с включённым поиском найти, какие документы регламентируют проверку тока покоя бортовой сети. Откройте каждую ссылку и проверьте, что документ существует и говорит то, что утверждает модель.

---

<!-- author-block -->
**Автор курса**

Виталий Пиков

- Архитектор информационной безопасности
• РБПО • DevSecOps • AppSec
- Лектор и автор образовательных программ по ИБ и РБПО

Телефон: +7 (963) 782-92-78 ·
E-mail: vitaly@pikov.expert ·
Сайт: https://pikov.expert ·
Telegram: @UnderLineSecurity
