Двойное использование LLM и генеративного ИИ в кибербезопасности: риски, вредоносное ПО и защита

Большие языковые модели (LLM) и генеративный искусственный интеллект (GenAI) стали мощным инструментом, который одновременно укрепляет и подрывает кибербезопасность. С одной стороны, они помогают обнаруживать zero-day угрозы, автоматизировать DevSecOps и анализировать синтетический контент. С другой — злоумышленники активно используют их для создания фишинговых писем, эксплойтов и вредоносного ПО. Согласно недавнему всестороннему обзору (arXiv:2607.06963), доля LLM-сгенерированного вредоносного ПО выросла с 2% в 2021 году до 50% в 2025 году. Это кардинально меняет ландшафт угроз: атаки становятся более автоматизированными, персонализированными и сложными в обнаружении. В этой статье мы разберем ключевые выводы обзора, рассмотрим как полезные, так и вредоносные применения LLM, а также обсудим меры защиты, которые помогут организациям оставаться в безопасности.

Полезные применения LLM и GenAI в кибербезопасности

Обнаружение zero-day угроз с помощью LLM Одним из наиболее перспективных направлений является использование LLM для выявления ранее неизвестных уязвимостей. Модели могут анализировать огромные объемы данных, включая сетевой трафик и логи, чтобы обнаруживать аномалии, которые указывают на zero-day атаки. Например, Google Play Protect и Microsoft Defender уже интегрируют ИИ-алгоритмы для поведенческого анализа приложений. Это позволяет реагировать на угрозы быстрее, чем традиционные сигнатурные методы.

Автоматизация DevSecOps с помощью генеративного ИИ Генеративный ИИ также трансформирует практики DevSecOps, автоматизируя проверку кода на уязвимости и генерацию безопасных конфигураций. Инструменты на базе LLM могут предлагать исправления в реальном времени, интегрируясь в CI/CD пайплайны. Это снижает нагрузку на команды безопасности и ускоряет выпуск продуктов без компромиссов в защите.

Федеративное обучение для конфиденциальности данных Федеративное обучение позволяет обучать модели ИИ на распределенных данных без их централизованного сбора, что критически важно для сохранения конфиденциальности. В контексте кибербезопасности это дает возможность совместно анализировать угрозы между организациями, не раскрывая чувствительные данные. Обзор подчеркивает, что такой подход может улучшить обнаружение атак, сохраняя приватность.

Анализ синтетического контента и объяснимый ИИ LLM помогают анализировать синтетический контент, созданный другими ИИ, например, дипфейки или фейковые новости. Кроме того, объяснимый ИИ (XAI) делает решения моделей прозрачными, что важно для аудита и соответствия регуляторам. Эти технологии уже применяются в AWS и Apple App Store для проверки подлинности контента.

Вредоносное использование LLM: фишинг, эксплойты и вредоносное ПО

Как злоумышленники используют LLM для создания фишинговых писем LLM позволяют генерировать убедительные фишинговые письма на любом языке, с персонализацией под конкретную жертву. Модели могут анализировать публичные данные о человеке и создавать сообщения, которые сложно отличить от легитимных. Это резко повышает эффективность атак: по данным обзора, до 30% получателей переходят по ссылкам из таких писем.

Генерация эксплойтов и вредоносного кода Злоумышленники также используют LLM для автоматического создания эксплойтов под известные уязвимости. Модели могут генерировать полиморфный код, который обходит сигнатурные детекторы. Примеры таких атак уже зафиксированы на платформах Hugging Face Spaces и GitHub, где злоумышленники выкладывали вредоносные модели, замаскированные под полезные.

Автоматизация атак и масштабирование угроз Главная опасность LLM-атак — их масштабируемость. Один злоумышленник может запустить тысячи персонализированных атак одновременно, используя API моделей. Это делает традиционные методы защиты, такие как черные списки, практически бесполезными. Доля LLM-сгенерированного вредоносного ПО выросла до 50% в 2025 году, и эта тенденция будет усиливаться.

Меры защиты: водяные знаки, состязательная защита и сотрудничество

Водяные знаки моделей для отслеживания происхождения Одним из перспективных методов защиты является внедрение водяных знаков в выходные данные LLM. Это позволяет отследить, была ли модель использована для создания вредоносного контента. Инициатива SAFE Framework предлагает стандарты для таких маркеров, что облегчает расследование инцидентов.

Состязательная защита и обнаружение аномалий Состязательное обучение помогает сделать модели более устойчивыми к атакам, например, к внедрению вредоносных промптов. ИИ-анализ аномалий, встроенный в системы защиты, может выявлять подозрительные паттерны в генерации контента. Microsoft Defender и Google Play Protect уже используют такие методы.

Межотраслевое сотрудничество и обмен данными Обзор подчеркивает важность сотрудничества между компаниями, исследователями и регуляторами. Открытые базы данных угроз и совместные исследования, такие как анализ более 70 академических статей в обзоре, помогают быстрее адаптироваться к новым угрозам. Примеры успешного взаимодействия включают партнерство OpenAI с правоохранительными органами.

Какие риски несут LLM для кибербезопасности в будущем?

Эволюция LLM-атак и адаптация защиты По мере развития моделей атаки будут становиться все изощреннее. Уже сейчас злоумышленники используют LLM для создания мультивекторных атак, комбинирующих фишинг, вредоносное ПО и социальную инженерию. Защита должна эволюционировать аналогично: от реактивных мер к проактивному прогнозированию угроз.

Проблемы регуляции и этики Регуляторы пока отстают от технологий. Отсутствие единых стандартов безопасности для LLM создает риски. Например, модели с открытым исходным кодом могут быть легко модифицированы для вредоносных целей. Необходимы законы, обязывающие разработчиков внедрять защитные механизмы по умолчанию.

Кого затронет двойное использование LLM?

Исследователи и инженеры по кибербезопасности должны постоянно обновлять свои навыки, чтобы противостоять ИИ-угрозам. Разработчики LLM обязаны внедрять защиту на этапе проектирования. Специалисты DevSecOps интегрируют ИИ-инструменты в пайплайны, а лидеры в области безопасности разрабатывают стратегии управления рисками. Каждая из этих групп сталкивается с новыми вызовами, но также получает возможности для повышения эффективности.

Что пока неизвестно?

Обзор не предоставляет количественных оценок эффективности конкретных защитных мер в реальных условиях. Также остается открытым вопрос о долгосрочной эволюции LLM-атак и адаптации средств защиты. Будущие исследования должны сосредоточиться на эмпирических данных и разработке адаптивных систем безопасности.

В заключение, двойное использование LLM и GenAI в кибербезопасности — это палка о двух концах. Технологии, которые могут защитить, также могут быть использованы для атак. Ключ к безопасности — в балансе: внедрение инноваций с одновременным усилением защиты, сотрудничество и постоянное обучение. Организации, которые игнорируют эту реальность, рискуют оказаться уязвимыми перед новым поколением киберугроз.