Intel Gaudi 2 ускоряет ProtST: как языковая модель белков стала быстрее в 2,8 раза

Intel и Hugging Face совместно оптимизировали запуск языковой модели белков ProtST на ускорителях Intel Gaudi 2. В результате доработок скорость инференса выросла в 2,8 раза, а обучение ускорилось на 40% по сравнению с базовой реализацией. Это делает высокопроизводительные вычисления в биоинформатике более доступными и экономичными для исследовательских групп и компаний, работающих в области drug discovery и персонализированной медицины.

Детали оптимизации ProtST на Intel Gaudi 2

Оптимизация проводилась с использованием библиотеки Intel Extension for PyTorch, которая позволяет эффективно задействовать аппаратные возможности ускорителей Gaudi 2. Ключевым улучшением стала настройка смешанной точности (bf16), что позволило снизить требования к памяти и ускорить вычисления без потери качества модели. Также была проведена оптимизация операций внимания, которые являются основным узким местом в трансформерных архитектурах. Тесты проводились на модели ProtST-ESM2-650M, содержащей 650 миллионов параметров.

Почему ускорение ProtST имеет значение для биоинформатики

ProtST — одна из ключевых моделей для анализа белковых последовательностей. Она используется в задачах предсказания структуры и функции белков, что критически важно для понимания биологических процессов и разработки новых лекарств. Ускорение её работы на доступных ускорителях Gaudi 2 означает, что исследователи могут быстрее обрабатывать большие объемы данных, проводить более глубокий анализ и сокращать время цикла исследований. Это особенно актуально для стартапов и академических групп, которые не могут позволить себе дорогие специализированные решения.

Какие ещё модели белков можно ускорить на Gaudi 2?

Помимо ProtST, на ускорителях Intel Gaudi 2 могут быть оптимизированы и другие языковые модели белков, такие как ESM-2, AlphaFold и различные варианты ProtBERT. Используемые методы — смешанная точность, оптимизация внимания и интеграция с Intel Extension for PyTorch — применимы к широкому кругу моделей. Intel и Hugging Face планируют расширять поддержку, но точные сроки и список моделей пока не объявлены.

Кого затронет это ускорение

Разработчиков и исследователей в области биоинформатики и вычислительной биологии, использующих языковые модели для анализа белков. Также это может быть интересно компаниям, занимающимся drug discovery и персонализированной медициной. Ускорение позволяет сократить затраты на вычислительные ресурсы и время экспериментов, что критически важно в конкурентной среде.

Что пока неизвестно

Пока не объявлено, планируется ли дальнейшая оптимизация для других моделей белков, а также будут ли доступны готовые контейнеры или образы для быстрого развёртывания. Однако учитывая успех с ProtST, можно ожидать расширения поддержки. Разработчики могут самостоятельно применить аналогичные методы оптимизации, используя опубликованные наработки Intel и Hugging Face.