Источники второго дня
Все ссылки, которые встречаются в лекциях, практике, ключах и дополнительных материалах второго дня. Нумерация общая для всех файлов дня. Страницы сервисов, тексты законов и перечень OWASP открыты 10.11.2026.
Научные публикации
- [1] Greshake K., Abdelnabi S., et al. Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection // Proceedings of the 16th ACM Workshop on Artificial Intelligence and Security. 2023. https://doi.org/10.1145/3605764.3623985
- [2] Yi J., Xie Y., et al. Benchmarking and Defending against Indirect Prompt Injection Attacks on Large Language Models // Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.1. 2025. https://doi.org/10.1145/3690624.3709179
- [3] Zhan Q., Fang R., et al. Adaptive Attacks Break Defenses Against Indirect Prompt Injection Attacks on LLM Agents. 2025. Препринт arXiv. https://doi.org/10.48550/arXiv.2503.00061
- [4] Milani A., Franzoni V., Florindi E. Indirect prompt injection in large language models // Neural Computing and Applications. 2026. https://doi.org/10.1007/s00521-026-12266-x
- [5] Duarte J. D., Cândido G. D., et al. A Systematic Review of Prompt Injection Attacks on Large Language Models: Trends, Taxonomy, Evaluation, Defenses, and Opportunities // IEEE Access. 2026. https://doi.org/10.1109/ACCESS.2026.3656849
- [6] Kimbel A., Glas M., Pernul G. Security and Privacy Perspectives on Using ChatGPT at the Workplace: An Interview Study // IFIP Advances in Information and Communication Technology. Springer, 2025. https://doi.org/10.1007/978-3-031-72563-0_13
- [7] Mireshghallah N., Antoniak M., et al. Trust No Bot: Discovering Personal Disclosures in Human-LLM Conversations in the Wild. 2024. Препринт arXiv. https://doi.org/10.48550/arXiv.2407.11438
- [8] Silic M., Silić D. From Shadow It to Shadow AI–Threats, Risks and Opportunities for Organizations // Strategic Change. 2025. https://doi.org/10.1002/jsc.2682
- [9] Patsakis C., Lykousas N. Man vs the machine in the struggle for effective text anonymisation in the age of large language models // Scientific Reports. 2023. https://doi.org/10.1038/s41598-023-42977-3
- [10] Staab R., Vero M., et al. Beyond Memorization: Violating Privacy Via Inference with Large Language Models. 2023. Препринт arXiv. https://doi.org/10.48550/arXiv.2310.07298
- [11] Nasr M., Carlini N., et al. Scalable Extraction of Training Data from (Production) Language Models. 2023. Препринт arXiv. https://doi.org/10.48550/arXiv.2311.17035
- [12] Lewis P., Perez E., et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. 2020. Препринт arXiv. https://doi.org/10.48550/arXiv.2005.11401
- [13] Barnett S., Kurniawan S., et al. Seven Failure Points When Engineering a Retrieval Augmented Generation System // Proceedings of the IEEE/ACM 3rd International Conference on AI Engineering - Software Engineering for AI. 2024. https://doi.org/10.1145/3644815.3644945
- [14] Liu N. F., Lin K., et al. Lost in the Middle: How Language Models Use Long Contexts // Transactions of the Association for Computational Linguistics. 2024. https://doi.org/10.1162/tacl_a_00638
- [15] Zou W., Geng R., et al. PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models. 2024. Препринт arXiv, версия v3 от 13.08.2024 (название и цитата – по этой версии). https://doi.org/10.48550/arXiv.2402.07867
- [16] Gao T., Yen H., et al. Enabling Large Language Models to Generate Text with Citations. 2023. Препринт arXiv. https://doi.org/10.48550/arXiv.2305.14627
- [17] Doris A. C., Grandi D., et al. DesignQA: A Multimodal Benchmark for Evaluating Large Language Models' Understanding of Engineering Documentation. 2024. Препринт arXiv. https://doi.org/10.48550/arXiv.2404.07917
- [18] Norheim J., Rebentisch E., et al. Challenges in applying large language models to requirements engineering tasks // Design Science. 2024. https://doi.org/10.1017/dsj.2024.8
- [19] Myhovych A., Kunytsia A. COMPARATIVE ANALYSIS OF ENGINEERING DOCUMENTATION USING DETERMINISTIC AND LLM-BASED METHODS // Journal of Rocket-Space Technology. 2026. https://doi.org/10.15421/452571
- [20] Shankar R., Lim A., Qian X. Performance of large language models in data extraction for evidence synthesis: A systematic review // Journal of Biomedical Informatics. 2026. https://doi.org/10.1016/j.jbi.2026.105086
- [21] Fan S., Chen M., et al. Evaluating data extraction error by a large language model from randomised controlled trials: a large-scale empirical study // BMJ Evidence-Based Medicine. 2026. https://doi.org/10.1136/bmjebm-2025-114044
- [22] Yang Y., Zhu Q., et al. When LLMs Read Tables Carelessly: Measuring and Reducing Data Referencing Errors // Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2026. https://doi.org/10.18653/v1/2026.acl-long.762
- [23] Sobhani M., Sayeedi M. F. A., et al. Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding. 2026. Препринт arXiv. https://doi.org/10.48550/arXiv.2608.08512
- [24] Ma D., Li J., et al. CiteVQA: Benchmarking Evidence Attribution for Trustworthy Document Intelligence. 2026. Препринт arXiv. https://doi.org/10.48550/arXiv.2605.12882
- [25] Tanhaei M. Silent-failure detection in RAG pipelines: A controlled fault-injection study of multi-layer quality gates // Results in Engineering. 2026. https://doi.org/10.1016/j.rineng.2026.113085
- [26] Liu Y., Li Z., et al. OCRBench: on the hidden mystery of OCR in large multimodal models // Science China Information Sciences. 2024. https://doi.org/10.1007/s11432-024-4235-6
- [27] Fu L., Kuang Z., et al. OCRBench v2: An Improved Benchmark for Evaluating Large Multimodal Models on Visual Text Localization and Reasoning. 2024. Препринт arXiv. https://doi.org/10.48550/arXiv.2501.00321
- [28] Yang Z., Tang J., et al. CC-OCR: A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy // 2025 IEEE/CVF International Conference on Computer Vision (ICCV). 2025. https://doi.org/10.1109/ICCV51701.2025.02019
- [29] Uygun Y., Momodu V. Local large language models to simplify requirement engineering documents in the automotive industry // Production & Manufacturing Research. 2024. https://doi.org/10.1080/21693277.2024.2375296
- [47] Mahbub T., Dghaym D., Shankarnarayanan A., et al. Can GPT-4 Aid in Detecting Ambiguities, Inconsistencies, and Incompleteness in Requirements Analysis? A Comprehensive Case Study // IEEE Access. 2024. Vol. 12. https://doi.org/10.1109/access.2024.3464242
- [48] Shefa J., Iyer A., Topcu T. G. The Tale of the Broken Clock: How LLMs Evaluate Requirement Quality and Where They Fail // INCOSE International Symposium. 2026. Vol. 36. https://doi.org/10.1002/iis2.70245
- [49] Poulsen V. V., Guertler M., Eisenbart B., et al. Context-aware large language models for ambiguity detection in requirements // Proceedings of the Design Society. 2026. Vol. 6. https://doi.org/10.1017/pds.2026.10607
- [50] Seifert D., Jöckel L., Trendowicz A., et al. Can Large Language Models (LLMs) Compete with Human Requirements Reviewers? – Replication of an Inspection Experiment on Requirements Documents // Product-Focused Software Process Improvement (PROFES 2024). Lecture Notes in Computer Science. Springer, 2024. https://doi.org/10.1007/978-3-031-78386-9_3
Препринты arXiv ([3], [7], [10], [11], [12], [15], [16], [17], [23], [24], [27]) отмечены в описании. Наличие DOI arXiv не означает рецензирования.
Нормативные документы и отраслевые перечни
- [30] Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных» (с изменениями). http://www.kremlin.ru/acts/bank/24154
- [31] Федеральный закон от 29.07.2004 № 98-ФЗ «О коммерческой тайне» (с изменениями). http://www.kremlin.ru/acts/bank/21227
- [32] OWASP Top 10 for LLM Applications 2025. LLM01:2025 Prompt Injection. https://github.com/OWASP/www-project-top-10-for-large-language-model-applications/blob/main/2_0_vulns/LLM01_PromptInjection.md
- [33] OWASP Top 10 for LLM Applications 2025. LLM02:2025 Sensitive Information Disclosure. https://github.com/OWASP/www-project-top-10-for-large-language-model-applications/blob/main/2_0_vulns/LLM02_SensitiveInformationDisclosure.md
Сервисы
Сводная таблица сервисов – в лекции 1.1 первого дня.
- [34] GigaChat. Пользовательское соглашение; справка: частые вопросы, документы, изображения. https://developers.sber.ru/docs/ru/policies/gigachat/agreement ; https://giga.chat/help ; https://giga.chat/help/articles/faq ; https://giga.chat/help/articles/work-with-docs ; https://giga.chat/help/articles/gigachat-load-picture
- [35] Алиса AI. Условия использования; справка: чат, режим «Эксперт», файлы; политика конфиденциальности Яндекса. https://yandex.ru/legal/alice_chat/ ; https://alice.yandex.ru/support/ru/assistant/chat-alice ; https://alice.yandex.ru/support/ru/assistant/chat/intellect ; https://alice.yandex.ru/support/ru/assistant/chat/files ; https://yandex.ru/legal/confidential/
- [36] DeepSeek. Privacy Policy; Terms of Use. https://cdn.deepseek.com/policies/en-US/deepseek-privacy-policy.html ; https://cdn.deepseek.com/policies/en-US/deepseek-terms-of-use.html
- [37] Qwen. Политика конфиденциальности; соглашение об оказании услуг. https://qwen.ai/privacypolicy ; https://qwen.ai/termsservice
Выступления и вебинары
- [38] Морозов А. «AI в безопасности и безопасность в AI». Доклад на ИИ-митапе ЦГУ, 06.11.2026.
- [39] Субботин А. «Платформы для совместной работы с ИИ-агентами». Доклад на ИИ-митапе ЦГУ, 06.11.2026 (презентация доклада).
- [40] Скидан С. «Как создать Агента-оператора». Доклад на ИИ-митапе ЦГУ, 06.11.2026 (презентация доклада).
- [41] Малаканов В. «Код, Jev, LLM, WebMCP». Доклад на ИИ-митапе ЦГУ, 06.11.2026 (презентация доклада).
- [52] Мирошкин А. «Модели, которые не пишут, а решают: как работает быстрый „судья“ для ИИ-агентов». Слайды, показанные на дискуссии; онлайн-конференция «Данные для AI и автоматизации: как собрать управляемый контур данных предприятия», форум All-over-IP & AI 2026, 11.11.2026. Подготовлены для форума ITSEC 2026; на слайде отмечено, что примеры действий и цифры иллюстративные.
- [53] Галкин Н. Доклад о встраивании ИИ в бизнес-процессы на примере «Кофемании». Онлайн-конференция «Данные для AI и автоматизации: как собрать управляемый контур данных предприятия», форум All-over-IP & AI 2026, 11.11.2026 (презентация доклада).
- [54] Дискуссия «От данных к бизнес-результату: как выстроить системную работу с данными» (Р. Ахметзянов, Н. Галимова, М. Кулагин, М. Васильев); онлайн-конференция «Данные для AI и автоматизации: как собрать управляемый контур данных предприятия», форум All-over-IP & AI 2026, 11.11.2026.
- [42] Горшков М. «Проблемы использования агентов в разработке». Вебинар УЦ «МАСКОМ» и PVS-Studio, 28.07.2026 (презентация выступления).
Нормативные документы (требования к ТЗ и текстовым документам)
Цитаты и номера пунктов сверены по текстам официальных изданий стандартов. Ссылки ниже ведут на справочную систему и каталог стандартов (вторичные источники), страницы открыты 10.11.2026; для [43] и [44] текст на этих страницах совпал с официальным изданием в цитируемых пунктах.
- [43] ГОСТ 34.602-2020. Информационные технологии. Комплекс стандартов на автоматизированные системы. Техническое задание на создание автоматизированной системы. Введён в действие приказом Росстандарта от 19.11.2021 № 1522-ст с 01.01.2022. Текст в справочной системе: https://meganorm.ru/mega_doc/norm/gost_gosudarstvennyj-standart/0/gost_34_602-2020_mezhgosudarstvennyy_standart.html (вторичный источник)
- [44] ГОСТ Р 2.105-2019. Единая система конструкторской документации. Общие требования к текстовым документам. Утверждён приказом Росстандарта от 29.04.2019 № 175-ст. Текст с изменениями № 1 и 2 в справочной системе: https://meganorm.ru/mega_doc/norm/gost-r_gosudarstvennyj-standart/0/gost_r_2_105-2019_natsionalnyy_standart_rossiyskoy.html (вторичный источник)
- [45] ГОСТ Р 71752-2024. Искусственный интеллект. Техническое задание. Требования к содержанию. Утверждён приказом Росстандарта от 28.10.2024 № 1548-ст. Карточка в каталоге стандартов: https://meganorm.ru/Index/83/83933.htm (вторичный источник)
Нормативные документы (нормоконтроль, учебное задание практики 2.2)
- [55] ГОСТ 2.316-2008 «ЕСКД. Правила нанесения надписей, технических требований и таблиц на графических документах. Общие положения»: пп. 4.10, 4.13, 4.14; в Российской Федерации утратил силу с 01.03.2024 (приказ Росстандарта от 08.11.2023 № 1359-ст), взамен введён ГОСТ Р 2.316-2023. https://meganorm.ru/mega_doc/norm/gost_gosudarstvennyj-standart/10/gost_2_316-2008_mezhgosudarstvennyy_standart_edinaya_sistema.html
Материалы автора курса
- [46] Пиков В. А. Авторский курс по техническим заданиям: слайды блока «Кодекс качества требований» (критерии 1–10, проверка перед передачей в разработку), методические материалы курса. https://tz.pikov.expert
- [51] Пиков В. А. Искусство написания ТЗ: большой учебник системного аналитика. Версия 1.0, июнь 2026. Учебник авторского курса по техническим заданиям, раздел «Инструментарий и AI»: библиотека запросов для аналитика. Материал автора, открытой ссылки нет.
Учебные материалы
Учебный кейс ЭС-24 и дополнение ко второму дню составлены для курса. Узел, документы, организации, люди и номера вымышлены.
В учебном ответе модели (документ 3 дополнения к кейсу) намеренно приведены выдуманные источники. Это не источники курса, а материал упражнения:
- статья «Petrov и Lindqvist, Reliability Engineering & System Safety, 2025» с адресом https://doi.org/10.1016/j.ress.2025.119874 – выдумана; doi.org на 10.11.2026 отвечает «DOI не найден»;
- «Положение о работе с ИИ-сервисами ПЛ-ИИ-03» – выдуманный документ, его нет ни в кейсе, ни в материалах курса.
Учебный файл письма поставщика со скрытой строкой: 04-Практика/2026-11-18-Письмо-поставщика-со-скрытой-строкой.docx.
Автор курса
Виталий Пиков
- Архитектор информационной безопасности • РБПО • DevSecOps • AppSec
- Лектор и автор образовательных программ по ИБ и РБПО
Телефон: +7 (963) 782-92-78 · E-mail: vitaly@pikov.expert · Сайт: https://pikov.expert · Telegram: @UnderLineSecurity