Hugging Face внедряет разбивку файлов: хранение моделей стало эффективнее на 50%

Hugging Face представил новую систему управления хранилищем, которая кардинально меняет подход к хранению и передаче файлов моделей. Вместо цельных файлов данные теперь разбиваются на небольшие блоки — чанки. Это позволяет эффективнее использовать дисковое пространство и ускорять загрузку, что особе

Hugging Face представил новую систему управления хранилищем, которая кардинально меняет подход к хранению и передаче файлов моделей. Вместо цельных файлов данные теперь разбиваются на небольшие блоки — чанки. Это позволяет эффективнее использовать дисковое пространство и ускорять загрузку, что особенно важно для моделей размером в сотни гигабайт.

С ростом популярности платформы и увеличением размеров моделей, таких как большие языковые модели, традиционное хранение цельных файлов становится неэффективным. Новая система, получившая название «From Files to Chunks», сокращает время загрузки, уменьшает дублирование данных и снижает нагрузку на серверы. Для разработчиков и исследователей, работающих с большими моделями, это означает более быстрый доступ к ресурсам и снижение затрат на хранение.

Как работает новая система разбивки файлов

Система основана на разбиении файлов на блоки фиксированного размера с использованием хеширования для дедупликации. Каждый блок получает уникальный хеш, и если одинаковые блоки встречаются в разных файлах, они хранятся только один раз. При запросе файла система собирает его из уникальных блоков, что значительно экономит место. Hugging Face уже внедрил эту технологию для некоторых популярных моделей, таких как BLOOM и StarCoder, и планирует расширить её на все репозитории. По предварительным данным, эффективность хранения выросла на 30-50%.

Почему это важно для пользователей Hugging Face

Нововведение затронет всех пользователей платформы: разработчиков, исследователей и компании, использующие Hugging Face для хранения и распространения моделей. Загрузка моделей станет быстрее, а затраты на хранение для хостинг-провайдеров снизятся. Для конечных пользователей это означает сокращение времени ожидания при скачивании моделей и более эффективное использование дискового пространства на локальных машинах.

Какие проблемы решает разбивка на чанки?

Традиционное хранение цельных файлов приводит к дублированию данных, когда одни и те же параметры модели повторяются в разных файлах. Это увеличивает объём хранилища и время загрузки. Новая система решает эти проблемы, храня только уникальные блоки и собирая файлы по запросу. Кроме того, разбивка на чанки позволяет параллельную загрузку, что ускоряет передачу данных.

Детали внедрения и планы на будущее

Hugging Face уже протестировал систему на моделях BLOOM и StarCoder, и результаты показали значительное улучшение эффективности. Компания планирует постепенно внедрить технологию для всех репозиториев, но точные сроки полного перехода пока не объявлены. Также не раскрыты детали влияния на производительность при записи новых моделей. Однако ожидается, что система будет оптимизирована для минимизации задержек.

Кого затронет нововведение

Нововведение затронет всех пользователей Hugging Face: разработчиков, исследователей и компании, использующие платформу для хранения и распространения моделей. Загрузка моделей станет быстрее, а затраты на хранение для хостинг-провайдеров снизятся. Разработчики, которые часто скачивают и обновляют модели, особенно выиграют от сокращения времени загрузки и уменьшения дублирования данных на своих дисках.

Что пока неизвестно

Точные сроки полного внедрения системы для всех репозиториев не объявлены. Также не раскрыты детали влияния на производительность при записи новых моделей. Возможно, в будущем появятся дополнительные оптимизации для работы с очень большими моделями.

В целом, новая система разбивки файлов от Hugging Face — это важный шаг вперёд в управлении хранилищем для машинного обучения. Она обещает сделать работу с большими моделями более эффективной и доступной для всех пользователей платформы.