Практика к теме 5.2. Свой сценарий и его паспорт

Время: 4 академических часа (13:00–14:30 и 14:40–16:10). Что понадобится: разрешённый сервис, дополнение к кейсу для пятого дня (документы 5-2, 5-3, 5-4, 5-6; ТЗ в них – редакция 1 из кейса первого дня), замер времени «до» из задания к модулю 5, таблица своих задач из практики 5.1 с отмеченной задачей для итоговой работы, шаблон паспорта (документ 5-2). Правило: сценарий пробуем на учебных материалах или на материалах, отправку которых в выбранный сервис разрешают правила вашей организации. Если без рабочих документов задача теряет смысл, придумайте пример того же вида: те же поля, те же единицы, придуманные значения. В паспорте и приложениях итоговой работы – только учебные или придуманные данные. Настоящие документы и их фрагменты, в том числе обезличенные, туда не вставляются. Обязательный минимум: черновик паспорта своего сценария – разделы 1–7 с таблицей пробы (задание 2) и раздел 8 с предварительной оценкой эффекта (задание 3). После занятия из него собирается контрольная точка модуля 5, она же итоговый проект. Замечания из задания 4 учитываются при доработке. Задание 1 тренирует проверку на чужом паспорте. Задание повышенной сложности и упражнения в конце файла – по желанию, в своём темпе.

Задание 1. Найти ошибки в паспорте, который составила модель (30 мин)

В документе 5-4 дополнения к кейсу – паспорт, который «составила модель» по просьбе инженера. В нём несколько ошибок разного рода. Сверяйтесь с основным кейсом, с образцом паспорта (документ 5-3) и с правилами курса.

Фрагмент Что не так Как должно быть

Подсказка по видам ошибок: выбор сервиса без учёта данных, неверное правило защиты информации, запрос без исходных данных и с передачей решения модели, отказ от проверки, ссылка на несуществующий пункт, ошибки в расчёте эффекта, вывод, который из расчёта не следует, опасное развитие сценария.

Отдельно пересчитайте эффект правильно, взяв исходные данные из вопроса к модели и время проверки из документа 5-3.

Результат: таблица ошибок и правильный расчёт.

Задание 2. Собрать и опробовать свой сценарий (60 мин)

Возьмите задачу, отмеченную в практике 5.1.

  1. Карточка задачи (10 мин). Исходные данные – ожидаемый результат – критерии приёмки – ограничения.
  2. Запросы (15 мин). Шаблон запроса из темы 1.2 или цепочка из двух-трёх запросов. Пишите полный текст, а не «попросить модель разобрать».
  3. Проба с проверкой (35 мин). Полная операция на занятии не помещается дважды (у образца из документа 5-3 она занимает 30 минут), поэтому пробуют одну часть операции на двух коротких примерах. Для учебной задачи примеры заданы в документе 5-6: таблица соответствия по З-2 (простой) и по З-4 (трудный). Для своей задачи выберите по тому же правилу одну и ту же часть операции, простой и трудный случай. Ответ каждого примера проверьте по своему чек-листу из модуля 1 и запишите, что нашли и что пришлось исправить. Засеките отдельно время на запрос и чтение ответа и время на проверку. Время «до» для той же части операции запишите как оценку по опыту.

Единица сравнения: ______ (одна и та же для обоих примеров и для времени «до»).

Пример Минут на запрос и чтение Минут на проверку Минут «до», оценка Что нашла проверка Пригоден ли результат
1 (простой)
2 (трудный)

Если сценарий не сработал на трудном примере, вы нашли его ограничение; запишите это ограничение в паспорт.

Для тех, у кого нет доступа к сервису: работайте по экрану преподавателя или вместе с коллегой, у которого доступ есть. Сценарий у каждого свой.

Результат: черновик паспорта, разделы 1–7, и таблица пробы.

Задание 3. Оценить экономию времени (20 мин)

На занятии раздел 8 заполняется как предварительная оценка и так и подписывается. Сравнивать можно только одинаковые единицы: t_до и t_после относятся к одной и той же полной операции. Время короткой пробы в формулу напрямую не подставляйте: по нему вы оцениваете t_после для полной операции. Полный замер t_после на двух-трёх операциях – в самостоятельной работе, после него раздел 8 пересчитывается (документ 5-6).

Формула:

Э_ч   = (t_до − t_после) × N × n × M / 60
Э_руб = (Э_ч − З_ч) × С
Величина Ваше значение Откуда взято
t_до, минут на полную операцию текущим способом (если ИИ уже используется – с ним, отметить) замер из задания к модулю 5 или оценка по опыту с пометкой «оценка»
t_после, минут на ту же полную операцию с ИИ, вместе с проверкой на занятии – оценка по результатам пробы с пометкой «оценка»; после занятия – замер на двух-трёх операциях
N, операций в месяц на сотрудника
n, сотрудников, выполняющих операцию
M, рабочих месяцев в году в учебном примере 11; в своей задаче обоснуйте период и не вычитайте отпуска дважды
З_ч, часов на подготовку и поддержку в год
С, стоимость часа 1200 руб. условная учебная ставка
Э_ч
Э_руб

Проверьте себя:

Если эффект получился меньше затрат или близким к нулю, так и напишите. Сценарий можно оставить как личный приём, если он повышает качество, или отказаться от него. Честный отрицательный результат засчитывается.

Результат: раздел 8 паспорта.

Задание 4. Представить сценарий группе (55 мин)

Каждый слушатель рассказывает о своём сценарии. Из 55 минут 5 уходят на порядок выступлений и лист обратной связи, на выступления – 50 минут, делённые на число выступающих. При группе до 10 человек – около 5 минут: 3 минуты рассказ, 2 минуты вопросы. Если участников больше, время на одного сокращается; кто не успел выступить, сдаёт паспорт письменно и получает обратную связь в контрольной точке.

План выступления:

  1. Задача и как часто она встречается.
  2. Сервис и маршрут данных.
  3. Что показала проба: что получилось, что пришлось исправить.
  4. Экономия в часах в год – предварительная оценка, что в ней замерено, а что оценено.
  5. Что дальше: личный приём, служба или предложение на автоматизацию.

Если вы подготовили три слайда для руководителя (упражнение 4 в разделе «Ещё упражнения по желанию»), покажите их вместо устного плана.

Слушатели и преподаватель отвечают по листу обратной связи:

Вопрос Да / нет / комментарий
Задача одна и описана конкретно
Сервис разрешён для уровня данных задачи (таблица темы 2.1, правила организации)
Проверка конкретная: что, чем, кто, сколько минут
Время «после» включает проверку
Ограничения названы
Расчёт эффекта сходится
Понятно, кто принимает результат

Запишите замечания к своему паспорту: их нужно учесть при доработке для итоговой аттестации.

Результат: список замечаний к паспорту.

Задание повышенной сложности: Прогон паспорта чужими руками (30–45 мин)

Для тех, кто справился с основными заданиями. Можно сделать и после занятия, в своём темпе.

Паспорт заполняют так, чтобы коллега мог повторить сценарий без автора (документ 5-2). В задании 2 сценарий пробовали вы сами, и многое держалось на том, что вы знаете задачу. Здесь проверим, хватит ли коллеге одного текста паспорта. Сначала модель в новом чате играет коллегу, который видит паспорт впервые и задаёт вопросы. Потом вы сами выполняете сценарий на третьем примере строго по написанному.

Удобнее всего делать задание после задания 3, пока остальные заканчивают расчёт, или после занятия: нужны только черновик паспорта и сервис. В чат ВКС ничего сдавать не нужно.

Шаг 1. Пакет для коллеги (5 мин). Скопируйте в отдельный файл разделы 1, 3, 6 и 7 черновика паспорта: задача, запросы, порядок проверки, ограничения. Ничего не дописывайте и не поясняйте. Перед отправкой ещё раз проверьте, что в них только учебные или придуманные данные.

Промежуточный результат: файл с четырьмя разделами паспорта.

Шаг 2. Вопросы коллеги (10 мин). В новом чате отправьте запрос вместе с пакетом.

Ниже паспорт сценария работы с языковой моделью. Его написал другой
инженер. Представь, что завтра тебе выполнять этот сценарий без автора.
Задачу не выполняй. Найди в тексте все места, где тебе пришлось бы
догадываться: что взять на вход, куда вставить данные, в каком порядке
отправлять запросы, что делать с ответом, чем и как проверять, что
считать готовым результатом.
Для каждого места: цитата из паспорта – что непонятно – вопрос автору.
Не предлагай новых шагов и улучшений сценария. Если неясностей нет,
так и напиши.

[разделы 1, 3, 6 и 7 паспорта]

Если запрос вместе с пакетом не помещается в одно сообщение (в GigaChat предел запроса – 4000 символов), разделите пакет на части и в начале каждой части напишите: «Пока ничего не делай, дождись задания». Каждое сообщение целиком, вместе с этой фразой, должно быть не длиннее 4000 символов. Запрос отправьте последним сообщением в том же чате – как в лекции 2.2: документы частями, задание в конце.

Разберите ответ по таблице. Не каждый вопрос модели означает настоящую неясность: ответ может уже быть в паспорте, или вопрос касается того, что коллега знает по работе.

Вопрос модели Настоящая неясность? (да / нет, почему) Что дописать и в какой раздел

Промежуточный результат: таблица вопросов и список правок.

Шаг 3. Третий пример: запросы по тексту (5–10 мин). Возьмите третий пример той же части операции, что в задании 2. Для учебной задачи это замечание З-1 или З-3 из основного файла кейса, для своей – ещё один случай на учебных или придуманных данных. Сначала отметьте в разделах 3 и 6 паспорта, какие запросы и проверки относятся к измеряемой части: для учебной задачи это только запрос 1 (таблица соответствия) и сверка чисел и пунктов ТЗ, а причины и черновик записи в замер не входят. Откройте новый чат и отправьте отмеченные запросы так, как они записаны в разделе 3 паспорта. Чего в паспорте нет, не делайте, а запишите. Засеките время на запрос и чтение ответа.

Промежуточный результат: сохранённый ответ модели, минуты на запрос и чтение, список того, чего не хватило в разделе 3.

Шаг 4. Третий пример: проверка по тексту (10 мин). Проверьте ответ только по отмеченным шагам раздела 6 паспорта, в том порядке, как они записаны. Засеките время на проверку.

Шаг проверки из раздела 6 Удалось выполнить по тексту? Что нашла проверка Минут

Под таблицей запишите, была ли в ответе ошибка, которую порядок проверки из раздела 6 не ловит. Если была, это пробел в разделе 6 или новое ограничение для раздела 7.

Промежуточный результат: таблица проверки и третий замер времени для той же единицы.

Шаг 5. Исправить паспорт (5–10 мин). Внесите правки из шагов 2–4 в разделы 3, 6 и 7. У каждой правки пометьте, откуда она: «вопрос коллеги» или «третий пример». Третий замер добавьте к двум замерам пробы и учтите при оценке t_после в разделе 8. Пометка «оценка» остаётся, пока нет замера полной операции (документ 5-6).

Результат: исправленные разделы 3, 6 и 7 паспорта с пометками и таблицы шагов 2 и 4. Исправленные разделы сразу идут в паспорт для контрольной точки модуля 5.

Как понять, что получилось:

Итоги курса (15 мин)

Сначала коротко о практике. Вопросы, на которые слушатели отвечают вслух:

2–3 слушателя рассказывают свой результат, преподаватель подводит итог. Если желающих нет, преподаватель показывает типичный результат – паспорт из документа 5-3 и правильный расчёт эффекта из задания 1 – и сам подводит итог по двум-трём главным выводам.

Затем преподаватель подводит итоги пяти дней, показывает, как сдавать итоговую аттестацию на Платформе: паспорт сценария и тест. Вопросы по аттестации.

Ещё упражнения по желанию

  1. Цепочка вместо одного запроса. Если ваш сценарий сейчас – один запрос, разбейте его на два-три шага и сравните на тех же примерах: стало ли проще проверять?
  2. Контрольный набор для сценария. Подготовьте 5–10 примеров с заранее известным правильным результатом, в том числе один с подвохом (противоречивые данные или посторонняя строка-команда в тексте). Прогоните сценарий и запишите, сколько примеров прошло. Такой набор нужен, чтобы перепроверять сценарий после смены модели или сервиса.
  3. Черновик предложения на автоматизацию. Если эффект получился заметным, составьте одностраничное предложение: паспорт кратко, результат пробы, замер времени, расчёт эффекта, что нужно от ИТ и подразделения по защите информации. Порядок подачи предложений уточните в своей организации.
  4. Три слайда для руководителя. Задача из анкет: презентации для руководства. Попросите модель по вашему паспорту:
По паспорту сценария ниже подготовь текст трёх слайдов для руководителя
службы: 1) задача и сколько времени она занимает сейчас; 2) что меняет
сценарий и как проверяется результат; 3) эффект в часах в год и что
нужно от других подразделений. На каждом слайде – заголовок-вывод
и не больше четырёх пунктов. Числа бери только из паспорта, ничего
не округляй и не добавляй. В конце отдельно: какие числа ты взял
и из какого раздела паспорта.

[вставьте свой паспорт без служебных сведений]

Сверьте каждое число со своим паспортом: модели охотно округляют и «улучшают» эффект. Слайды можно собрать в любом редакторе презентаций; на выступлении в задании 4 их можно показать вместо устного плана.


Автор курса

Виталий Пиков

Телефон: +7 (963) 782-92-78 · E-mail: vitaly@pikov.expert · Сайт: https://pikov.expert · Telegram: @UnderLineSecurity