Практика к теме 5.2. Свой сценарий и его паспорт
Время: 4 академических часа (13:00–14:30 и 14:40–16:10). Что понадобится: разрешённый сервис, дополнение к кейсу для пятого дня (документы 5-2, 5-3, 5-4, 5-6; ТЗ в них – редакция 1 из кейса первого дня), замер времени «до» из задания к модулю 5, таблица своих задач из практики 5.1 с отмеченной задачей для итоговой работы, шаблон паспорта (документ 5-2). Правило: сценарий пробуем на учебных материалах или на материалах, отправку которых в выбранный сервис разрешают правила вашей организации. Если без рабочих документов задача теряет смысл, придумайте пример того же вида: те же поля, те же единицы, придуманные значения. В паспорте и приложениях итоговой работы – только учебные или придуманные данные. Настоящие документы и их фрагменты, в том числе обезличенные, туда не вставляются. Обязательный минимум: черновик паспорта своего сценария – разделы 1–7 с таблицей пробы (задание 2) и раздел 8 с предварительной оценкой эффекта (задание 3). После занятия из него собирается контрольная точка модуля 5, она же итоговый проект. Замечания из задания 4 учитываются при доработке. Задание 1 тренирует проверку на чужом паспорте. Задание повышенной сложности и упражнения в конце файла – по желанию, в своём темпе.
Задание 1. Найти ошибки в паспорте, который составила модель (30 мин)
В документе 5-4 дополнения к кейсу – паспорт, который «составила модель» по просьбе инженера. В нём несколько ошибок разного рода. Сверяйтесь с основным кейсом, с образцом паспорта (документ 5-3) и с правилами курса.
| Фрагмент | Что не так | Как должно быть |
|---|---|---|
Подсказка по видам ошибок: выбор сервиса без учёта данных, неверное правило защиты информации, запрос без исходных данных и с передачей решения модели, отказ от проверки, ссылка на несуществующий пункт, ошибки в расчёте эффекта, вывод, который из расчёта не следует, опасное развитие сценария.
Отдельно пересчитайте эффект правильно, взяв исходные данные из вопроса к модели и время проверки из документа 5-3.
Результат: таблица ошибок и правильный расчёт.
Задание 2. Собрать и опробовать свой сценарий (60 мин)
Возьмите задачу, отмеченную в практике 5.1.
- Карточка задачи (10 мин). Исходные данные – ожидаемый результат – критерии приёмки – ограничения.
- Запросы (15 мин). Шаблон запроса из темы 1.2 или цепочка из двух-трёх запросов. Пишите полный текст, а не «попросить модель разобрать».
- Проба с проверкой (35 мин). Полная операция на занятии не помещается дважды (у образца из документа 5-3 она занимает 30 минут), поэтому пробуют одну часть операции на двух коротких примерах. Для учебной задачи примеры заданы в документе 5-6: таблица соответствия по З-2 (простой) и по З-4 (трудный). Для своей задачи выберите по тому же правилу одну и ту же часть операции, простой и трудный случай. Ответ каждого примера проверьте по своему чек-листу из модуля 1 и запишите, что нашли и что пришлось исправить. Засеките отдельно время на запрос и чтение ответа и время на проверку. Время «до» для той же части операции запишите как оценку по опыту.
Единица сравнения: ______ (одна и та же для обоих примеров и для времени «до»).
| Пример | Минут на запрос и чтение | Минут на проверку | Минут «до», оценка | Что нашла проверка | Пригоден ли результат |
|---|---|---|---|---|---|
| 1 (простой) | |||||
| 2 (трудный) |
Если сценарий не сработал на трудном примере, вы нашли его ограничение; запишите это ограничение в паспорт.
Для тех, у кого нет доступа к сервису: работайте по экрану преподавателя или вместе с коллегой, у которого доступ есть. Сценарий у каждого свой.
Результат: черновик паспорта, разделы 1–7, и таблица пробы.
Задание 3. Оценить экономию времени (20 мин)
На занятии раздел 8 заполняется как предварительная оценка и так и подписывается. Сравнивать можно только одинаковые единицы: t_до и t_после относятся к одной и той же полной операции. Время короткой пробы в формулу напрямую не подставляйте: по нему вы оцениваете t_после для полной операции. Полный замер t_после на двух-трёх операциях – в самостоятельной работе, после него раздел 8 пересчитывается (документ 5-6).
Формула:
Э_ч = (t_до − t_после) × N × n × M / 60
Э_руб = (Э_ч − З_ч) × С
| Величина | Ваше значение | Откуда взято |
|---|---|---|
| t_до, минут на полную операцию текущим способом (если ИИ уже используется – с ним, отметить) | замер из задания к модулю 5 или оценка по опыту с пометкой «оценка» | |
| t_после, минут на ту же полную операцию с ИИ, вместе с проверкой | на занятии – оценка по результатам пробы с пометкой «оценка»; после занятия – замер на двух-трёх операциях | |
| N, операций в месяц на сотрудника | ||
| n, сотрудников, выполняющих операцию | ||
| M, рабочих месяцев в году | в учебном примере 11; в своей задаче обоснуйте период и не вычитайте отпуска дважды | |
| З_ч, часов на подготовку и поддержку в год | ||
| С, стоимость часа | 1200 руб. | условная учебная ставка |
| Э_ч | ||
| Э_руб |
Проверьте себя:
- t_после включает проверку?
- t_до и t_после относятся к одной и той же полной операции? Оценки помечены словом «оценка»?
- Минуты переведены в часы делением на 60?
- Период M обоснован, отпуска не учтены дважды?
- Затраты на подготовку и поддержку вычтены?
- В выводе написано «освобождается N часов в год», а не «можно сократить сотрудников»?
Если эффект получился меньше затрат или близким к нулю, так и напишите. Сценарий можно оставить как личный приём, если он повышает качество, или отказаться от него. Честный отрицательный результат засчитывается.
Результат: раздел 8 паспорта.
Задание 4. Представить сценарий группе (55 мин)
Каждый слушатель рассказывает о своём сценарии. Из 55 минут 5 уходят на порядок выступлений и лист обратной связи, на выступления – 50 минут, делённые на число выступающих. При группе до 10 человек – около 5 минут: 3 минуты рассказ, 2 минуты вопросы. Если участников больше, время на одного сокращается; кто не успел выступить, сдаёт паспорт письменно и получает обратную связь в контрольной точке.
План выступления:
- Задача и как часто она встречается.
- Сервис и маршрут данных.
- Что показала проба: что получилось, что пришлось исправить.
- Экономия в часах в год – предварительная оценка, что в ней замерено, а что оценено.
- Что дальше: личный приём, служба или предложение на автоматизацию.
Если вы подготовили три слайда для руководителя (упражнение 4 в разделе «Ещё упражнения по желанию»), покажите их вместо устного плана.
Слушатели и преподаватель отвечают по листу обратной связи:
| Вопрос | Да / нет / комментарий |
|---|---|
| Задача одна и описана конкретно | |
| Сервис разрешён для уровня данных задачи (таблица темы 2.1, правила организации) | |
| Проверка конкретная: что, чем, кто, сколько минут | |
| Время «после» включает проверку | |
| Ограничения названы | |
| Расчёт эффекта сходится | |
| Понятно, кто принимает результат |
Запишите замечания к своему паспорту: их нужно учесть при доработке для итоговой аттестации.
Результат: список замечаний к паспорту.
Задание повышенной сложности: Прогон паспорта чужими руками (30–45 мин)
Для тех, кто справился с основными заданиями. Можно сделать и после занятия, в своём темпе.
Паспорт заполняют так, чтобы коллега мог повторить сценарий без автора (документ 5-2). В задании 2 сценарий пробовали вы сами, и многое держалось на том, что вы знаете задачу. Здесь проверим, хватит ли коллеге одного текста паспорта. Сначала модель в новом чате играет коллегу, который видит паспорт впервые и задаёт вопросы. Потом вы сами выполняете сценарий на третьем примере строго по написанному.
Удобнее всего делать задание после задания 3, пока остальные заканчивают расчёт, или после занятия: нужны только черновик паспорта и сервис. В чат ВКС ничего сдавать не нужно.
Шаг 1. Пакет для коллеги (5 мин). Скопируйте в отдельный файл разделы 1, 3, 6 и 7 черновика паспорта: задача, запросы, порядок проверки, ограничения. Ничего не дописывайте и не поясняйте. Перед отправкой ещё раз проверьте, что в них только учебные или придуманные данные.
Промежуточный результат: файл с четырьмя разделами паспорта.
Шаг 2. Вопросы коллеги (10 мин). В новом чате отправьте запрос вместе с пакетом.
Ниже паспорт сценария работы с языковой моделью. Его написал другой
инженер. Представь, что завтра тебе выполнять этот сценарий без автора.
Задачу не выполняй. Найди в тексте все места, где тебе пришлось бы
догадываться: что взять на вход, куда вставить данные, в каком порядке
отправлять запросы, что делать с ответом, чем и как проверять, что
считать готовым результатом.
Для каждого места: цитата из паспорта – что непонятно – вопрос автору.
Не предлагай новых шагов и улучшений сценария. Если неясностей нет,
так и напиши.
[разделы 1, 3, 6 и 7 паспорта]
Если запрос вместе с пакетом не помещается в одно сообщение (в GigaChat предел запроса – 4000 символов), разделите пакет на части и в начале каждой части напишите: «Пока ничего не делай, дождись задания». Каждое сообщение целиком, вместе с этой фразой, должно быть не длиннее 4000 символов. Запрос отправьте последним сообщением в том же чате – как в лекции 2.2: документы частями, задание в конце.
Разберите ответ по таблице. Не каждый вопрос модели означает настоящую неясность: ответ может уже быть в паспорте, или вопрос касается того, что коллега знает по работе.
| Вопрос модели | Настоящая неясность? (да / нет, почему) | Что дописать и в какой раздел |
|---|---|---|
Промежуточный результат: таблица вопросов и список правок.
Шаг 3. Третий пример: запросы по тексту (5–10 мин). Возьмите третий пример той же части операции, что в задании 2. Для учебной задачи это замечание З-1 или З-3 из основного файла кейса, для своей – ещё один случай на учебных или придуманных данных. Сначала отметьте в разделах 3 и 6 паспорта, какие запросы и проверки относятся к измеряемой части: для учебной задачи это только запрос 1 (таблица соответствия) и сверка чисел и пунктов ТЗ, а причины и черновик записи в замер не входят. Откройте новый чат и отправьте отмеченные запросы так, как они записаны в разделе 3 паспорта. Чего в паспорте нет, не делайте, а запишите. Засеките время на запрос и чтение ответа.
Промежуточный результат: сохранённый ответ модели, минуты на запрос и чтение, список того, чего не хватило в разделе 3.
Шаг 4. Третий пример: проверка по тексту (10 мин). Проверьте ответ только по отмеченным шагам раздела 6 паспорта, в том порядке, как они записаны. Засеките время на проверку.
| Шаг проверки из раздела 6 | Удалось выполнить по тексту? | Что нашла проверка | Минут |
|---|---|---|---|
Под таблицей запишите, была ли в ответе ошибка, которую порядок проверки из раздела 6 не ловит. Если была, это пробел в разделе 6 или новое ограничение для раздела 7.
Промежуточный результат: таблица проверки и третий замер времени для той же единицы.
Шаг 5. Исправить паспорт (5–10 мин). Внесите правки из шагов 2–4 в разделы 3, 6 и 7. У каждой правки пометьте, откуда она: «вопрос коллеги» или «третий пример». Третий замер добавьте к двум замерам пробы и учтите при оценке t_после в разделе 8. Пометка «оценка» остаётся, пока нет замера полной операции (документ 5-6).
Результат: исправленные разделы 3, 6 и 7 паспорта с пометками и таблицы шагов 2 и 4. Исправленные разделы сразу идут в паспорт для контрольной точки модуля 5.
Как понять, что получилось:
- у каждого вопроса модели стоит ваше «да» или «нет» с причиной, вопросы не приняты все подряд;
- третий пример – та же часть операции, что в пробе, и он выполнен в новом чате без пояснений сверх паспорта;
- каждый шаг раздела 6 после правки отвечает: что проверяется, чем, кто проверяет, сколько минут;
- в разделе 7 появилось новое ограничение или записано, что третий пример новых ограничений не показал;
- для третьего примера отдельно записаны минуты на запрос и чтение и минуты на проверку.
Итоги курса (15 мин)
Сначала коротко о практике. Вопросы, на которые слушатели отвечают вслух:
- Какое ограничение сценария показал трудный пример?
- Какая величина в разделе 8 у вас пока оценка и как вы её замерите после занятия?
- Если вы делали задание повышенной сложности: что пришлось дописать в паспорт после прогона чужими руками?
2–3 слушателя рассказывают свой результат, преподаватель подводит итог. Если желающих нет, преподаватель показывает типичный результат – паспорт из документа 5-3 и правильный расчёт эффекта из задания 1 – и сам подводит итог по двум-трём главным выводам.
Затем преподаватель подводит итоги пяти дней, показывает, как сдавать итоговую аттестацию на Платформе: паспорт сценария и тест. Вопросы по аттестации.
Ещё упражнения по желанию
- Цепочка вместо одного запроса. Если ваш сценарий сейчас – один запрос, разбейте его на два-три шага и сравните на тех же примерах: стало ли проще проверять?
- Контрольный набор для сценария. Подготовьте 5–10 примеров с заранее известным правильным результатом, в том числе один с подвохом (противоречивые данные или посторонняя строка-команда в тексте). Прогоните сценарий и запишите, сколько примеров прошло. Такой набор нужен, чтобы перепроверять сценарий после смены модели или сервиса.
- Черновик предложения на автоматизацию. Если эффект получился заметным, составьте одностраничное предложение: паспорт кратко, результат пробы, замер времени, расчёт эффекта, что нужно от ИТ и подразделения по защите информации. Порядок подачи предложений уточните в своей организации.
- Три слайда для руководителя. Задача из анкет: презентации для руководства. Попросите модель по вашему паспорту:
По паспорту сценария ниже подготовь текст трёх слайдов для руководителя
службы: 1) задача и сколько времени она занимает сейчас; 2) что меняет
сценарий и как проверяется результат; 3) эффект в часах в год и что
нужно от других подразделений. На каждом слайде – заголовок-вывод
и не больше четырёх пунктов. Числа бери только из паспорта, ничего
не округляй и не добавляй. В конце отдельно: какие числа ты взял
и из какого раздела паспорта.
[вставьте свой паспорт без служебных сведений]
Сверьте каждое число со своим паспортом: модели охотно округляют и «улучшают» эффект. Слайды можно собрать в любом редакторе презентаций; на выступлении в задании 4 их можно показать вместо устного плана.
Автор курса
Виталий Пиков
- Архитектор информационной безопасности • РБПО • DevSecOps • AppSec
- Лектор и автор образовательных программ по ИБ и РБПО
Телефон: +7 (963) 782-92-78 · E-mail: vitaly@pikov.expert · Сайт: https://pikov.expert · Telegram: @UnderLineSecurity