AWS Inferentia2 ускоряет Hugging Face Transformers в 2 раза: что нужно знать

Hugging Face и AWS объявили о поддержке чипов AWS Inferentia2 в библиотеке Transformers, что позволяет ускорить инференс популярных моделей до двух раз. Это означает, что разработчики могут запускать BERT, RoBERTa, GPT-2 и другие модели на выделенных инстансах Inf2 с использованием оптимизированного SDK, получая более высокую производительность при снижении затрат. Интеграция стала возможной благодаря библиотеке Optimum Neuron, которая автоматически компилирует модели под архитектуру Inferentia2. Новые инстансы Inf2 доступны в нескольких конфигурациях: с 1, 12 или 24 чипами, что позволяет масштабировать нагрузку в зависимости от потребностей. Например, BERT-Large на одном чипе обрабатывает до 2000 запросов в секунду при batch size 4 и точности FP16. Это делает решение привлекательным для компаний, работающих с NLP-моделями среднего размера, и стартапов, стремящихся сократить расходы на инференс.

Как работает интеграция AWS Inferentia2 с Hugging Face

Интеграция реализована через библиотеку Optimum Neuron, которая является частью экосистемы Hugging Face Optimum. Optimum Neuron автоматически компилирует модели PyTorch или TensorFlow в оптимизированный формат для Inferentia2. Пользователям достаточно установить пакет optimum-neuron и указать целевое устройство при загрузке модели. Например, для запуска BERT на Inferentia2 нужно загрузить модель с параметром device="neuron". Компиляция происходит один раз, после чего модель кэшируется для последующего использования. Важно отметить, что не все модели поддерживаются сразу: в первую очередь доступны архитектуры BERT, RoBERTa, GPT-2, DistilBERT и другие популярные модели из библиотеки Transformers. Разработчики могут также использовать автоматическое обнаружение поддерживаемых моделей через Optimum Neuron CLI.

Почему Inferentia2 выгоднее предыдущих решений

По сравнению с предыдущим поколением Inferentia, чипы Inferentia2 обеспечивают до 2 раз более высокую пропускную способность и на 40% лучшую энергоэффективность. Это достигается за счет улучшенной архитектуры, включающей больше тензорных ядер и оптимизированную память. Для конечных пользователей это означает снижение затрат на инференс: при той же производительности требуется меньше инстансов или можно обрабатывать больше запросов на одном инстансе. Кроме того, Inferentia2 поддерживает FP16 и BF16, что позволяет эффективно использовать память и ускорять вычисления. Например, при batch size 4 и FP16 модель BERT-Large достигает пропускной способности 2000 запросов в секунду на одном чипе, что значительно превосходит показатели Inferentia первого поколения.

Какие модели можно запускать на Inf2

На момент анонса поддерживаются модели из библиотеки Transformers, включая BERT, RoBERTa, GPT-2, DistilBERT, ALBERT и другие. Полный список доступен в документации Optimum Neuron. Важно, что модель должна быть совместима с компилятором Neuron: для этого она должна использовать стандартные слои, поддерживаемые Inferentia2. Модели с нестандартными операциями могут потребовать ручной адаптации. В будущем ожидается расширение списка поддерживаемых моделей, включая более крупные языковые модели, такие как LLaMA и Falcon, но точные сроки пока не объявлены.

Как начать использовать AWS Inferentia2 с Hugging Face

Для начала необходимо иметь аккаунт AWS и доступ к инстансам Inf2. Инстансы Inf2 доступны в нескольких регионах, включая Северную Виргинию, Огайо, Орегон и Ирландию. После запуска инстанса нужно установить библиотеки: pip install transformers optimum-neuron. Затем загрузить модель и компилировать её с помощью Optimum Neuron. Пример кода: from optimum.neuron import NeuronModelForSequenceClassification; model = NeuronModelForSequenceClassification.frompretrained("bert-base-uncased", export=True). После компиляции модель готова к инференсу. Рекомендуется использовать batch size 4 и FP16 для максимальной производительности. Также можно настроить автоматическое масштабирование с помощью AWS Auto Scaling для обработки переменной нагрузки.

Какие преимущества для бизнеса и разработчиков

Для бизнеса снижение затрат на инференс означает возможность развертывания более сложных моделей без увеличения бюджета. Стартапы могут использовать Inf2 для обработки реального времени, например, в чат-ботах или системах анализа текста. Разработчики получают простой API через Hugging Face, что сокращает время на интеграцию. Кроме того, энергоэффективность Inferentia2 помогает компаниям достигать целей устойчивого развития. Например, компания, обрабатывающая 1 миллион запросов в день, может сэкономить до 40% на электроэнергии по сравнению с использованием GPU общего назначения.

Какие ограничения и неизвестные аспекты

Несмотря на преимущества, есть ограничения. Во-первых, поддержка крупных моделей (например, LLaMA 70B) пока не реализована. Во-вторых, не все регионы AWS имеют доступ к Inf2, и тарифы могут различаться. В-третьих, для некоторых моделей может потребоваться ручная настройка компиляции. Также стоит учитывать, что Inferentia2 оптимизирована для batch-обработки, поэтому для потокового инференса с маленькими батчами эффективность может быть ниже. Наконец, экосистема инструментов для Inferentia2 все еще развивается, и некоторые библиотеки могут иметь ограниченную поддержку.

Что дальше: будущее Inferentia2 и Hugging Face

Ожидается, что AWS и Hugging Face продолжат расширять поддержку моделей и улучшать интеграцию. В планах — поддержка моделей для компьютерного зрения и мультимодальных моделей. Также возможно появление специализированных инструментов для автоматической оптимизации моделей под Inferentia2. Для разработчиков это означает еще больше возможностей для эффективного развертывания AI-решений. Если вы уже используете Hugging Face Transformers в AWS, сейчас лучшее время попробовать Inferentia2 и оценить экономию.

Как AWS Inferentia2 сравнивается с GPU для инференса?

По сравнению с GPU, такими как NVIDIA T4 или A10, Inferentia2 предлагает более низкую стоимость за запрос при batch-обработке. Однако для моделей с очень большими размерами батча или для обучения GPU могут быть предпочтительнее. Inferentia2 также потребляет меньше энергии, что снижает эксплуатационные расходы. Для типичных NLP-задач, таких как классификация текста или вопросно-ответные системы, Inferentia2 показывает сопоставимую или лучшую производительность при меньшей цене. Выбор между Inferentia2 и GPU зависит от конкретных требований к задержке, пропускной способности и бюджету.