Инъекция промптов в 2025: почему OWASP считает её главной угрозой для LLM

Самой серьёзной угрозой для больших языковых моделей остаётся инъекция промптов — такой вывод содержится в обновлённом рейтинге OWASP Top 10 для LLM-приложений, опубликованном в 2025 году. Несмотря на относительно небольшое число задокументированных инцидентов, эксперты называют эту атаку наиболее опасной из-за её скрытого характера и потенциального масштаба последствий. Новый рейтинг OWASP — это не просто формальный список, а практическое руководство для разработчиков и специалистов по безопасности, которые строят системы на базе генеративного ИИ, и его рекомендации стоит учитывать уже на этапе проектирования.

Инъекция промптов — главный риск для LLM в 2025 году

Согласно свежей версии OWASP Top 10 for LLM Applications, инъекция промптов занимает первую строчку рейтинга. Это означает, что атаки, при которых злоумышленник внедряет вредоносные инструкции в текст, который модель обрабатывает, признаются наиболее критичными. При этом, как отмечают авторы отчёта, количество реальных инцидентов с инъекцией промптов пока ограничено — но это не снижает уровень опасности.

Почему так? Дело в том, что инъекция промптов — это не точечная уязвимость, а целый класс атак, которые могут быть направлены на разные компоненты LLM-системы. Злоумышленник может манипулировать входными данными, чтобы заставить модель выдать конфиденциальную информацию, выполнить нежелательные действия или даже обойти механизмы безопасности. При этом такие атаки сложно обнаружить, потому что они маскируются под обычные запросы.

По данным OWASP, в 2024 году было зафиксировано лишь несколько публичных инцидентов с инъекцией промптов, но это не отражает реальную картину. Многие компании предпочитают не раскрывать случаи атак, опасаясь репутационных потерь. Кроме того, атаки могут быть нацелены на внутренние системы, где они остаются незамеченными длительное время.

Предыстория и контекст

OWASP (Open Worldwide Application Security Project) — некоммерческая организация, которая с 2003 года публикует рейтинг самых критичных рисков безопасности для веб-приложений. В 2023 году организация впервые выпустила отдельный список для LLM-приложений, и инъекция промптов сразу заняла первое место. Тогда это вызвало много споров: некоторые эксперты считали, что угроза преувеличена, а другие настаивали на её серьёзности.

С тех пор индустрия ИИ стремительно развивалась: появились новые модели, инструменты и фреймворки. Однако, как показывает новый рейтинг, фундаментальные риски не изменились. Инъекция промптов остаётся на вершине, что говорит о том, что базовые проблемы безопасности в LLM-приложениях до сих пор не решены.

В новом рейтинге OWASP также произошли изменения: некоторые риски были перегруппированы, появились новые категории. Например, был добавлен риск, связанный с утечкой данных через LLM, а также риск, связанный с небезопасной обработкой выходных данных модели. Это отражает растущее понимание того, что LLM-приложения требуют комплексного подхода к безопасности.

Почему инъекция промптов так опасна?

Инъекция промптов опасна по нескольким причинам. Во-первых, она эксплуатирует саму суть работы LLM — модель выполняет инструкции, заложенные в тексте. Злоумышленник может внедрить скрытую команду в, казалось бы, безобидный текст, и модель выполнит её. Во-вторых, такие атаки могут быть использованы для атак на другие системы: например, если LLM интегрирована с внешними API, злоумышленник может заставить её совершить нежелательные вызовы.

В-третьих, инъекция промптов может быть использована для извлечения конфиденциальных данных, которые модель видела в обучающих данных или в контексте разговора. Например, если чат-бот обучен на внутренних документах компании, злоумышленник может задать вопрос таким образом, чтобы модель раскрыла эти документы.

Технические детали и новые категории рисков

В обновлённом рейтинге OWASP Top 10 для LLM-приложений 2025 года список рисков выглядит следующим образом: инъекция промптов (LLM01), небезопасная обработка выходных данных (LLM02), утечка данных через обучающие данные (LLM03), отказ в обслуживании (LLM04), небезопасная интеграция с внешними компонентами (LLM05), чрезмерная зависимость от модели (LLM06), небезопасная обработка системных промптов (LLM07), небезопасная обработка контекста (LLM08), небезопасная обработка мультимодальных данных (LLM09) и небезопасная обработка памяти модели (LLM10).

Как видно, многие риски связаны с обработкой данных — как входных, так и выходных. Это отражает то, что LLM-приложения часто работают с чувствительной информацией, и любые ошибки в обработке могут привести к утечкам. Например, категория LLM02 (небезопасная обработка выходных данных) подразумевает, что выходные данные модели могут содержать вредоносный код или ссылки, которые затем попадают в другие системы.

Эксперты OWASP подчёркивают, что рейтинг не является исчерпывающим списком всех возможных угроз, но он помогает разработчикам сосредоточиться на наиболее критичных аспектах. Каждая категория сопровождается рекомендациями по снижению риска, включая технические меры, такие как валидация входных данных, ограничение привилегий, мониторинг и аудит.

Кого затронет и как

Новый рейтинг OWASP важен для всех, кто разрабатывает или использует LLM-приложения: от стартапов до крупных корпораций. Для разработчиков это руководство по тому, какие меры безопасности следует внедрять на этапе проектирования. Например, чтобы защититься от инъекции промптов, рекомендуется использовать изоляцию модели от критических систем, а также фильтрацию и валидацию входных данных.

Для бизнеса, который внедряет LLM в свои продукты, рейтинг является сигналом о необходимости инвестировать в безопасность. Игнорирование этих рисков может привести к утечкам данных, финансовым потерям и репутационному ущербу. Особенно это актуально для компаний в России и СНГ, где регулирование в области ИИ только формируется, и ответственность за безопасность пока лежит на самих разработчиках.

Что будет дальше

OWASP планирует обновлять рейтинг ежегодно, чтобы отражать изменения в ландшафте угроз. В будущем можно ожидать появления новых категорий, связанных с мультимодальными моделями и автономными агентами. Также, вероятно, возрастёт количество реальных инцидентов с инъекцией промптов, поскольку злоумышленники будут всё активнее атаковать LLM-системы.

Разработчикам и специалистам по безопасности стоит уже сейчас внедрять рекомендации OWASP, а также следить за обновлениями. В частности, важно регулярно проводить пентесты LLM-приложений и использовать специализированные инструменты для обнаружения уязвимостей.

Итог

Инъекция промптов остаётся главной угрозой для LLM-приложений, и это подтверждает новый рейтинг OWASP. Несмотря на ограниченное число публичных инцидентов, риск слишком велик, чтобы его игнорировать. Компаниям, использующим LLM, следует уделять первостепенное внимание безопасности, начиная с этапа проектирования. Только так можно минимизировать потенциальный ущерб от атак, которые становятся всё более изощрёнными.