Quanto: новый бэкенд для квантования PyTorch от Hugging Face — что нужно знать

Hugging Face выпустил Quanto — новый бэкенд для квантования нейросетей на PyTorch. Этот инструмент интегрирован в библиотеку Optimum, предназначенную для оптимизации моделей, и поддерживает различные форматы квантования, включая float8 и int8, а также может применяться как к весам, так и к активациям. Quanto упрощает процесс уменьшения размера моделей и ускорения инференса без значительной потери точности, предоставляя единый интерфейс для разных типов квантования и тесную интеграцию с экосистемой Hugging Face.

Что такое Quanto и как он работает

Quanto — это бэкенд квантования, который работает в рамках библиотеки Optimum от Hugging Face. Optimum уже включает несколько методов оптимизации, таких как ONNX Runtime и Intel Neural Compressor, но Quanto фокусируется именно на квантовании. Он поддерживает квантование весов и активаций в форматах float8, int8, int4 и int2. Это означает, что модель можно сжать до 8-битных или даже 2-битных представлений, что радикально уменьшает её размер и ускоряет выполнение.

Квантование в Quanto происходит автоматически: бэкенд калибрует диапазоны значений на основе данных, что снижает необходимость ручной настройки. Он поддерживает как динамическое квантование (когда диапазоны определяются во время выполнения), так и статическое (когда диапазоны фиксируются заранее на калибровочном наборе). Это даёт гибкость в зависимости от требований к точности и скорости.

Почему Quanto важен для разработчиков PyTorch

Квантование — один из ключевых методов оптимизации моделей, особенно для развёртывания на устройствах с ограниченными ресурсами, таких как мобильные телефоны или IoT-устройства. До появления Quanto разработчикам приходилось выбирать между разными инструментами: bitsandbytes для 8-битного квантования, GPTQ для 4-битного, или встроенные средства PyTorch. Каждый из них имел свой API и особенности интеграции.

Quanto унифицирует этот процесс. Он предоставляет единый интерфейс для всех поддерживаемых форматов и автоматически выбирает оптимальные настройки. Более того, он интегрирован с пайплайнами Transformers и Diffusers, что позволяет квантовать модели всего несколькими строками кода. Например, можно загрузить модель BERT или Stable Diffusion и сразу применить квантование без дополнительных манипуляций.

Какие форматы квантования поддерживает Quanto

Quanto поддерживает квантование весов и активаций в четырёх форматах: float8, int8, int4 и int2. Float8 — это 8-битное представление с плавающей точкой, которое сохраняет больше точности для моделей с широким диапазоном значений. Int8 — целочисленное 8-битное квантование, наиболее распространённое для ускорения на CPU и GPU. Int4 и int2 — экстремальное сжатие, которое может быть полезно для моделей, где допустима некоторая потеря точности, но критичен размер.

Важно, что Quanto позволяет квантовать как веса, так и активации. Квантование активаций особенно важно для ускорения инференса, так как оно уменьшает объём данных, передаваемых между слоями. Бэкенд автоматически определяет, какие слои можно квантовать без существенного падения качества, и применяет соответствующие преобразования.

Как Quanto сравнивается с другими бэкендами

На данный момент полное сравнение Quanto с альтернативами, такими как bitsandbytes, GPTQ или AWQ, ещё не опубликовано. Однако известно, что Quanto оптимизирован для GPU и CPU, и его производительность на различных архитектурах будет раскрыта позже. bitsandbytes, например, хорошо зарекомендовал себя для 8-битного квантования на GPU, а GPTQ — для 4-битного. Quanto стремится покрыть все эти сценарии в одном инструменте.

Ключевое преимущество Quanto — интеграция с экосистемой Hugging Face. Разработчики, уже использующие Transformers, Diffusers или Optimum, смогут добавить квантование без изучения нового API. Кроме того, Quanto поддерживает динамическое и статическое квантование, что даёт больше контроля над компромиссом между точностью и скоростью.

Когда Quanto станет стабильным

На момент анонса Quanto находится в стадии бета-тестирования. Hugging Face не объявил точную дату стабильного релиза, но обещает активную разработку и поддержку сообщества. Пока не раскрыты детали о производительности на различных архитектурах и сравнение с другими бэкендами, такими как bitsandbytes или GPTQ. Также неизвестно, когда Quanto получит полную поддержку всех моделей в библиотеках Hugging Face.

Тем не менее, уже сейчас можно протестировать Quanto, установив Optimum из исходников или через pip. Разработчики могут экспериментировать с квантованием своих моделей и давать обратную связь, что ускорит выход стабильной версии.

Кому будет полезен Quanto

Quanto в первую очередь предназначен для разработчиков, использующих PyTorch и Hugging Face для создания и развертывания моделей. Это включает специалистов по NLP, компьютерному зрению и генеративным моделям. Инженеры, занимающиеся оптимизацией моделей для edge-устройств, также найдут Quanto полезным, так как он позволяет значительно уменьшить размер модели и ускорить инференс без потери качества.

Кроме того, Quanto может быть интересен исследователям, изучающим методы квантования. Благодаря поддержке различных форматов и автоматической калибровке, он упрощает эксперименты с разными подходами к сжатию моделей.

Как начать использовать Quanto

Чтобы начать работу с Quanto, необходимо установить библиотеку Optimum. После этого можно загрузить любую модель из Hugging Face и применить квантование. Например, для квантования модели BERT в формат int8 достаточно нескольких строк кода. Quanto автоматически определит архитектуру модели и применит оптимальные настройки.

Разработчики могут выбирать между динамическим и статическим квантованием, а также указывать целевые форматы для весов и активаций. Бэкенд поддерживает как CPU, так и GPU, что позволяет гибко настраивать производительность.

Какие ограничения есть у Quanto

На данный момент Quanto не поддерживает все модели из библиотек Hugging Face. Некоторые архитектуры могут требовать дополнительной настройки или быть несовместимыми с определёнными форматами квантования. Кроме того, квантование может приводить к снижению точности, особенно при использовании форматов int4 и int2. Разработчикам рекомендуется тестировать квантованные модели на своих данных, чтобы убедиться, что качество остаётся приемлемым.

Ещё одно ограничение — отсутствие подробной документации по производительности. Hugging Face обещает опубликовать бенчмарки в ближайшее время, но пока разработчикам приходится полагаться на собственные тесты.

Перспективы развития Quanto

Hugging Face активно развивает Quanto и планирует добавить поддержку большего количества архитектур и форматов. В будущем возможно появление квантования для моделей с плавающей точкой (float16, bfloat16) и интеграция с другими инструментами оптимизации. Сообщество может ожидать регулярных обновлений и улучшений.

Quanto — это шаг к унификации инструментов квантования в экосистеме Hugging Face. Если он оправдает ожидания, то может стать стандартным выбором для разработчиков, желающих быстро и просто оптимизировать свои модели.