Protect AI и Hugging Face сканировали 4 млн моделей: что нашли за 6 месяцев

За первые шесть месяцев совместного партнёрства Protect AI и Hugging Face просканировали 4 миллиона моделей машинного обучения на наличие уязвимостей и вредоносного кода. Это крупнейшая инициатива такого рода, направленная на повышение безопасности экосистемы открытых моделей. Результаты сканировани

За первые шесть месяцев совместного партнёрства Protect AI и Hugging Face просканировали 4 миллиона моделей машинного обучения на наличие уязвимостей и вредоносного кода. Это крупнейшая инициатива такого рода, направленная на повышение безопасности экосистемы открытых моделей. Результаты сканирования показали, что угрозы реальны, и требуют постоянного внимания со стороны разработчиков и пользователей.

Почему безопасность моделей машинного обучения стала критической

Модели машинного обучения всё чаще используются в критически важных приложениях — от медицинской диагностики до финансовых транзакций. Однако их безопасность часто игнорируется. В отличие от традиционного ПО, модели могут содержать скрытые уязвимости, такие как внедрение вредоносного кода в веса или архитектуру, а также проблемы в зависимостях. Совместная инициатива Protect AI и Hugging Face призвана закрыть этот пробел.

Как проходило сканирование

Protect AI предоставила свои инструменты для автоматического анализа моделей, загруженных на Hugging Face. Сканирование включало проверку на наличие вредоносных payloads, уязвимостей в библиотеках (например, PyTorch, TensorFlow) и утечек конфиденциальных данных. Интеграция происходила на уровне платформы, что позволило обрабатывать миллионы моделей без ручного вмешательства. Точное количество выявленных угроз не раскрывается, но по словам представителей, проект существенно повысил общий уровень безопасности.

Какие типы угроз были обнаружены?

Среди выявленных проблем — внедрение вредоносного кода в файлы модели, использование устаревших и уязвимых зависимостей, а также модели, которые могли непреднамеренно раскрывать данные обучения. Некоторые модели содержали скрытые функции, активирующиеся при определённых входных данных. Это напоминает атаки типа "троянский конь" в традиционном ПО.

Кого затронут результаты сканирования

Прежде всего, это касается пользователей Hugging Face, которые скачивают и используют модели. Разработчики моделей также должны учитывать результаты: даже если модель не содержит явного вредоносного кода, уязвимости зависимостей могут быть использованы злоумышленниками. Компании, внедряющие открытые модели в свои продукты, получают дополнительный слой защиты. Специалисты по безопасности теперь имеют данные для анализа и разработки новых методов защиты.

Что остаётся неизвестным

Пока не опубликована детальная статистика по типам уязвимостей и их частоте. Также неясно, планируется ли расширение проекта на другие платформы, такие как TensorFlow Hub или PyTorch Hub. Однако партнёры заявили, что продолжат мониторинг и улучшение инструментов.

Выводы и перспективы

Сканирование 4 миллионов моделей — важный шаг к безопасной экосистеме ИИ. Оно показывает, что угрозы реальны, но могут быть выявлены автоматически. В будущем можно ожидать ужесточения требований к публикации моделей и внедрения обязательных проверок безопасности. Для разработчиков это сигнал: безопасность должна быть частью жизненного цикла модели с самого начала.