Safetensors прошел аудит безопасности и становится форматом по умолчанию на Hugging Face

Формат Safetensors, созданный для безопасного хранения тензоров в моделях машинного обучения, успешно прошел независимый аудит безопасности, проведенный компанией Trail of Bits. Это событие стало поворотным моментом для экосистемы Hugging Face, которая объявила о переходе на Safetensors как формат по умолчанию для загрузки моделей. Теперь пользователи платформы могут быть уверены, что загружаемые модели не содержат вредоносного кода, скрытого в файлах сериализации.

Почему безопасность моделей машинного обучения стала критической проблемой

Долгое время основным форматом для хранения моделей был Pickle, встроенный в Python. Однако Pickle имеет фундаментальный недостаток: при десериализации он может выполнять произвольный код. Злоумышленники использовали это для внедрения вредоносных программ в модели, что приводило к компрометации систем исследователей и разработчиков. Учитывая, что Hugging Face является крупнейшим репозиторием моделей, угроза затрагивала тысячи пользователей по всему миру. Safetensors был разработан как ответ на эту проблему: он исключает возможность выполнения кода, храня только числовые данные тензоров.

Как проходил аудит безопасности Safetensors

Аудит, выполненный Trail of Bits, включал анализ исходного кода, архитектуры и реализации формата. Эксперты проверяли устойчивость к атакам, связанным с сериализацией, и искали уязвимости, характерные для Pickle. В ходе проверки не было обнаружено критических проблем, а все незначительные замечания были устранены до публикации отчета. Это подтвердило, что Safetensors действительно безопасен и может быть рекомендован как стандарт для хранения моделей.

Какие преимущества получают пользователи Hugging Face

Переход на Safetensors по умолчанию означает, что при загрузке новой модели пользователи больше не рискуют запустить вредоносный код. Формат также обеспечивает быструю загрузку благодаря эффективной структуре данных и совместим с популярными фреймворками: PyTorch, TensorFlow и JAX. Разработчикам не нужно менять код — библиотеки автоматически поддерживают Safetensors. Для владельцев существующих моделей рекомендуется конвертировать их в новый формат, чтобы сохранить совместимость с будущими версиями платформы.

Какие риски остаются после перехода на Safetensors

Несмотря на безопасность формата, полностью исключить угрозы невозможно. Злоумышленники могут атаковать другие компоненты пайплайна машинного обучения, например, веса моделей или конфигурационные файлы. Кроме того, старые модели в формате Pickle остаются доступными для скачивания, и пользователи могут случайно загрузить их. Hugging Face рекомендует проверять формат файла перед использованием и отдавать предпочтение моделям с маркировкой Safetensors.

Что пока неизвестно о платформе Hugging Face

Точные сроки полного перехода на Safetensors по умолчанию не объявлены. Неясно также, будут ли удалены старые модели в формате Pickle или они останутся в архиве. Возможно, платформа введет поэтапный переход, давая авторам моделей время на конвертацию. Пользователям стоит следить за обновлениями в блоге Hugging Face и документации.

Как конвертировать модель в формат Safetensors

Для конвертации модели из Pickle в Safetensors можно использовать утилиту safetensors, доступную через pip. Процесс прост: загрузите модель в память с помощью библиотеки (например, PyTorch) и сохраните ее в формате safetensors. Hugging Face также предоставляет инструменты для автоматической конвертации при загрузке на платформу. Важно убедиться, что конвертированная модель работает корректно, протестировав ее на небольшом наборе данных.

Будущее безопасности в машинном обучении

Успех Safetensors может стимулировать развитие других безопасных форматов и инструментов для машинного обучения. Trail of Bits продолжает исследования в этой области, а Hugging Face инвестирует в автоматизацию проверок безопасности. Для сообщества это шаг к более надежной экосистеме, где пользователи могут сосредоточиться на разработке, а не на защите от атак.