Habana Gaudi2 ускоряет инференс BLOOMZ до 7,5 раз быстрее GPU: полный анализ

Ускорители Habana Gaudi2 от Intel продемонстрировали впечатляющую производительность при инференсе большой языковой модели BLOOMZ, обеспечив пропускную способность до 7,5 раз выше, чем у NVIDIA A100. Этот результат, полученный совместно с Hugging Face, открывает новые возможности для развёртывания LLM в продакшене, снижая затраты и задержки. В статье разберём, как были достигнуты такие показатели, какие технологии использовались и что это значит для рынка AI-инфраструктуры.

Достижение 7,5-кратного ускорения: как это работает

Intel и Hugging Face опубликовали результаты оптимизации инференса большой языковой модели BLOOMZ на ускорителях Habana Gaudi2. Используя библиотеки Optimum Habana и DeepSpeed, команде удалось достичь пропускной способности до 7,5 раз выше, чем на NVIDIA A100, при сохранении точности FP32. Ключевым фактором стала аппаратная архитектура Gaudi2, которая включает специализированные тензорные ядра (TPC) и большой объём встроенной памяти (96 ГБ HBM2E на ускоритель). В сочетании с программными оптимизациями, такими как HPU-графы и поддержка FP8, это позволило значительно ускорить вычисления.

В тестах использовалась модель BLOOMZ-176B (176 млрд параметров). На одном сервере с 8 ускорителями Habana Gaudi2 пропускная способность достигла 106 токенов в секунду для задач генерации, что в 7,5 раз выше, чем на 8× NVIDIA A100 (80GB). Для BLOOMZ-7B ускорение составило до 5 раз. Оптимизации включали использование HPU-графов, настраиваемые ядра и поддержку FP8 через Habana SynapseAI. Эти технологии позволили эффективно распределять нагрузку между ускорителями и минимизировать задержки.

Почему это важно для рынка AI-инфраструктуры

Развёртывание больших языковых моделей (LLM) в продакшене часто упирается в стоимость и задержки инференса. Ускорение на специализированных ускорителях, таких как Gaudi2, может существенно снизить эксплуатационные расходы и сделать LLM доступнее для широкого круга задач — от чат-ботов до анализа текстов. Для компаний, использующих Hugging Face Transformers, миграция на Gaudi2 упрощается благодаря библиотеке Optimum Habana, которая поддерживает популярные модели.

Intel также анонсировала поддержку моделей Llama 2 и CodeGen на Gaudi2, что расширяет экосистему. Разработчики и инженеры, работающие с LLM, получают альтернативу GPU для инференса, что может стимулировать конкуренцию и снизить цены на облачные вычисления. Однако для массового внедрения необходимо решить вопросы совместимости и оптимизации для разных архитектур.

Какие модели поддерживает Habana Gaudi2?

Gaudi2 поддерживает не только BLOOMZ, но и другие популярные LLM, включая Llama 2, CodeGen и модели из библиотеки Hugging Face Transformers. Благодаря Optimum Habana, разработчики могут легко адаптировать существующие модели под архитектуру HPU. Intel активно расширяет список поддерживаемых моделей, что делает Gaudi2 универсальным решением для инференса.

Детали тестирования и сравнение с NVIDIA A100

Важно отметить, что сравнение проводилось с NVIDIA A100, а не с более новыми H100. Данные о энергопотреблении и стоимости владения не раскрыты, что оставляет вопросы о полной экономической эффективности. Однако ускорение в 7,5 раз при сохранении точности FP32 — значимый результат, который может быть улучшен с использованием FP8.

Кого затронет это ускорение

Разработчики и инженеры, работающие с LLM, получат альтернативу GPU для инференса. Компании, использующие Hugging Face Transformers, смогут легко мигрировать на Gaudi2 через Optimum Habana. Intel также анонсировала поддержку моделей Llama 2 и CodeGen. Это может снизить зависимость от NVIDIA и стимулировать развитие открытых AI-инфраструктур.

Что пока остаётся неясным

Сравнение с другими ускорителями (например, NVIDIA H100) не проводилось. Данные о энергопотреблении и стоимости владения не раскрыты. Остаётся неясным, насколько обобщаемы результаты для других архитектур LLM. Кроме того, для достижения максимальной производительности требуется оптимизация под конкретную модель, что может увеличить время внедрения.

Перспективы и выводы

Habana Gaudi2 демонстрирует, что специализированные ускорители могут конкурировать с GPU в задачах инференса LLM. Ускорение до 7,5 раз по сравнению с A100 — серьёзный аргумент для компаний, ищущих альтернативы. Однако для полной оценки необходимо дождаться независимых тестов и данных о стоимости. В любом случае, появление таких решений способствует диверсификации рынка AI-железа и снижению барьеров для внедрения LLM.