Hugging Face и Habana Gaudi: запуск Transformers на ускорителях Intel

Сообщество разработчиков искусственного интеллекта получило новый инструмент для ускорения работы с моделями: Hugging Face выпустил официальное руководство по запуску библиотеки Transformers на ускорителях Habana Gaudi (модели HL-205 и HL-225). Теперь популярные архитектуры вроде BERT, GPT и T5 можно запускать на оборудовании Intel Habana, которое становится прямым конкурентом графическим процессорам NVIDIA в задачах глубокого обучения. Это важный шаг к диверсификации рынка аппаратного обеспечения для ИИ, где долгое время доминировала одна компания.

Рынок аппаратного ускорения искусственного интеллекта перестаёт быть монополией NVIDIA. Ускорители Habana Gaudi предлагают высокую производительность в сочетании с открытым программным стеком, включающим Intel oneAPI и SynapseAI. Интеграция с экосистемой Hugging Face упрощает миграцию для тысяч разработчиков: теперь не нужно писать кастомный код — достаточно установить пакет optimum-habana и следовать инструкциям. Это снижает порог входа и ускоряет внедрение альтернативных аппаратных решений.

Как запустить модели Transformers на Habana Gaudi

Процесс настройки включает несколько ключевых шагов. Сначала необходимо установить драйверы для ускорителя Gaudi и настроить Docker-образы с предустановленным программным обеспечением. Hugging Face предоставляет готовые образы, которые включают все зависимости, включая библиотеку Optimum Habana. Эта библиотека автоматически оптимизирует модели под архитектуру Gaudi, выполняя такие операции, как смешанная точность (FP16 и BF16) и распределённое обучение. Для инференса достаточно загрузить модель из хаба Hugging Face и вызвать её через стандартный интерфейс Transformers, указав device='hpu'.

Какие модели поддерживаются и как начать работу?

На данный момент руководство охватывает популярные архитектуры: BERT, GPT-2, T5 и их вариации. Для каждой модели приведены примеры кода и команды для запуска. Важно отметить, что процессоры Gaudi оснащены встроенными тензорными ядрами (TPC) и выделенным сетевым интерфейсом, что позволяет эффективно масштабировать вычисления на несколько ускорителей. Разработчики могут выполнять как инференс, так и дообучение моделей, используя стандартные инструменты Hugging Face. Для начала работы достаточно установить пакет optimum-habana с помощью pip и следовать инструкциям из официального блога.

Кому будет полезно это руководство

Новое руководство ориентировано на разработчиков, которые ищут альтернативу графическим процессорам NVIDIA для инференса и обучения моделей. Особенно это актуально для компаний, использующих облачные решения Intel, такие как инстансы AWS DL1, или разворачивающих собственные кластеры на базе Gaudi. Сообщество Hugging Face теперь получает больше вариантов для запуска моделей, что снижает зависимость от одного поставщика и может привести к снижению затрат.

Какие преимущества даёт использование Optimum Habana?

Библиотека Optimum Habana автоматически применяет оптимизации, специфичные для архитектуры Gaudi, без необходимости ручной настройки. Это включает квантизацию, слияние операций и использование тензорных ядер. Разработчики могут сосредоточиться на своих задачах, а не на оптимизации кода под оборудование. Кроме того, библиотека поддерживает распределённое обучение с использованием встроенного сетевого интерфейса Gaudi, что упрощает масштабирование на несколько устройств.

Что остаётся неизвестным

Несмотря на подробное руководство, некоторые вопросы остаются открытыми. Пока нет независимых сравнительных тестов производительности Gaudi против NVIDIA H100 или A100 на конкретных моделях. Также неясна доступность облачных инстансов с Gaudi для широкой аудитории — на данный момент они предлагаются преимущественно крупным клиентам. Кроме того, поддержка новейших архитектур, таких как Llama 3, может потребовать дополнительных ручных патчей, хотя команда Hugging Face обещает расширять совместимость.

Будущее аппаратного ускорения ИИ

Появление альтернативы NVIDIA в виде Habana Gaudi — это важный шаг к более конкурентному рынку. Интеграция с Hugging Face делает эту платформу доступной для миллионов разработчиков. В ближайшие месяцы мы, вероятно, увидим больше сравнительных тестов и примеров использования, которые помогут сообществу принять решение о миграции. Пока же руководство от Hugging Face — отличная отправная точка для тех, кто хочет попробовать Gaudi в деле.