Критическая уязвимость в ChatGPT Agent Builder позволяла создавать вредоносных ИИ-агентов

Эксперты по кибербезопасности обнаружили опасную уязвимость в ChatGPT Workspace Agent Builder, которая позволяла злоумышленникам создавать вредоносных ИИ-агентов. Для эксплуатации было достаточно одной фишинговой ссылки. К счастью, OpenAI уже устранила проблему, но этот инцидент подчёркивает растущи

Уязвимость в ChatGPT Workspace Agent Builder

Исследователи из компании Prompt Security (израильский стартап, специализирующийся на безопасности ИИ) обнаружили, что функция Agent Builder в ChatGPT Workspace позволяет создавать настраиваемых ИИ-агентов, которые могут выполнять различные задачи, такие как анализ данных или автоматизация рабочих процессов. Однако злоумышленник мог использовать эту функцию для создания вредоносного агента, который при активации пользователем выполнял бы вредоносные действия, например, кражу данных или установку вредоносного ПО.

Атака начиналась с отправки жертве фишинговой ссылки, которая вела на страницу с предварительно сконфигурированным агентом. Если пользователь переходил по ссылке и авторизовывался в своей учётной записи ChatGPT Workspace, агент автоматически активировался и выполнял вредоносные инструкции. Исследователи отметили, что для успешной атаки не требовалось никаких дополнительных действий со стороны пользователя, кроме перехода по ссылке.

Prompt Security сообщила об уязвимости в OpenAI в июне 2024 года. Компания подтвердила проблему и выпустила исправление, которое блокирует возможность автоматической активации агентов без явного согласия пользователя. Однако полные детали уязвимости были раскрыты только сейчас, что даёт возможность сообществу лучше понять потенциальные угрозы.

Предыстория и контекст

ChatGPT Workspace — это корпоративная версия ChatGPT, предназначенная для использования в организациях. Она включает такие функции, как Agent Builder, который позволяет создавать настраиваемых ИИ-агентов для автоматизации задач. Этот инструмент стал популярным среди компаний, стремящихся повысить эффективность работы с помощью ИИ.

Однако с ростом популярности ИИ-инструментов растут и риски. Злоумышленники активно ищут способы использовать уязвимости в этих системах для кражи данных или распространения вредоносного ПО. Уязвимость в Agent Builder — лишь один из примеров того, как новые технологии могут быть использованы против своих же пользователей.

Подобные инциденты подчёркивают важность тщательной проверки безопасности ИИ-инструментов перед их внедрением в корпоративную среду. Компании должны учитывать не только функциональность, но и потенциальные риски, связанные с использованием ИИ.

Как работает атака через Agent Builder?

Атака через Agent Builder основана на социальной инженерии и использовании доверия пользователей к ссылкам от легитимных сервисов. Злоумышленник создаёт вредоносного агента, который выглядит как полезный инструмент для решения какой-либо задачи. Затем он отправляет жертве ссылку на этого агента, например, по электронной почте или через мессенджер.

Когда жертва переходит по ссылке и авторизуется в ChatGPT Workspace, агент автоматически активируется и начинает выполнять вредоносные инструкции. Это может включать сбор конфиденциальных данных, отправку их на серверы злоумышленника или даже установку дополнительного вредоносного ПО. Пользователь может даже не заметить, что его устройство было скомпрометировано.

Технические детали и меры защиты

По данным Prompt Security, уязвимость была связана с тем, что Agent Builder позволял создавать агентов с произвольными инструкциями, которые могли быть выполнены без дополнительного подтверждения со стороны пользователя. Это позволяло злоумышленникам внедрять вредоносный код в агента и автоматически запускать его при активации.

OpenAI уже исправила эту проблему, добавив требование явного согласия пользователя на выполнение действий агента. Кроме того, компания внедрила дополнительные механизмы проверки, которые должны предотвращать создание вредоносных агентов.

Тем не менее, пользователям ChatGPT Workspace рекомендуется быть осторожными: не переходить по подозрительным ссылкам, даже если они выглядят как ссылки на легитимные сервисы, и регулярно проверять настройки безопасности своей учётной записи.

Кого затронет уязвимость

Уязвимость затронула организации, использующие ChatGPT Workspace, особенно те, которые активно используют Agent Builder для автоматизации рабочих процессов. Если бы атака была успешно реализована, злоумышленник мог бы получить доступ к корпоративным данным, включая финансовую информацию, персональные данные сотрудников и клиентов, а также коммерческую тайну.

Для российских компаний, которые используют ChatGPT Workspace, этот инцидент служит напоминанием о необходимости усиления мер безопасности при работе с ИИ-инструментами. Важно не только полагаться на встроенные механизмы защиты, но и проводить собственные аудиты безопасности.

Что будет дальше

OpenAI продолжает совершенствовать безопасность ChatGPT Workspace, и можно ожидать, что в будущем будут обнаружены и исправлены другие уязвимости. Компания также работает над улучшением механизмов защиты от социальной инженерии, которая является ключевым вектором атак на ИИ-системы.

Эксперты рекомендуют организациям, использующим ИИ-инструменты, регулярно обновлять программное обеспечение, следить за новостями о безопасности и обучать сотрудников правилам кибергигиены.

Итог

Уязвимость в ChatGPT Workspace Agent Builder — это серьёзное напоминание о том, что ИИ-инструменты, несмотря на свою пользу, могут быть использованы злоумышленниками. Хотя OpenAI уже исправила проблему, инцидент подчёркивает необходимость постоянного мониторинга безопасности и внимательного отношения к новым технологиям. Следите за обновлениями безопасности, чтобы защитить свои данные и данные вашей компании.