Память HBF: как новый стандарт ускорит ИИ-инференс и изменит рынок

В индустрии искусственного интеллекта назревает революция, и она касается не алгоритмов, а памяти. На этой неделе компании Sandisk и SK hynix анонсировали новый стандарт High Bandwidth Flash (HBF), который призван решить одну из самых острых проблем современных ИИ-систем — узкое место между хранением данных и их обработкой. Инициативу поддержали Tenstorrent и Google, причём представители Google DeepMind подчеркнули, что HBF станет критически важной для инференса — этапа работы нейросетей, когда обученная модель применяется для решения реальных задач. Это заявление прозвучало на фоне растущего спроса на эффективные решения для дата-центров, где классическая память HBM (High Bandwidth Memory) уже не справляется с объёмами данных, необходимыми для больших языковых моделей.

Суть проблемы в том, что современные нейросети, такие как GPT-4 или Gemini, требуют доступа к огромным массивам данных: веса модели, кэш, промежуточные вычисления. Всё это нужно хранить где-то, откуда можно быстро извлечь. HBM, которая сегодня используется в GPU и ускорителях, обеспечивает высокую скорость, но она дорога и ограничена по объёму. HBF предлагает гибридное решение: она объединяет флэш-память NAND, которая обеспечивает большой объём хранения при низкой стоимости, с высокоскоростным интерфейсом, аналогичным тому, что используется в HBM. Это позволяет создавать системы, способные хранить десятки терабайт данных и одновременно обеспечивать пропускную способность, достаточную для питания ИИ-моделей в реальном времени. HBF нацелена не на замену HBM, а на то, чтобы стать более ёмкой и экономичной альтернативой для задач, где требуется быстрый доступ к большим массивам данных, но не обязательно сверхнизкая задержка.

Память HBF: что это и почему она важна для ИИ

HBF — это новый стандарт памяти, разрабатываемый отраслевым консорциумом, в который входят Sandisk, SK hynix, Tenstorrent и Google. Основная идея — создать память, которая сочетает преимущества NAND-флэша (большой объём, низкая стоимость за гигабайт) и HBM (высокая пропускная способность). Это достигается за счёт использования интерфейса, аналогичного HBM, но с флэш-памятью вместо DRAM. Такой подход позволяет увеличить ёмкость памяти в разы по сравнению с HBM, сохраняя при этом достаточно высокую скорость передачи данных.

Для инференса ИИ-моделей это особенно важно, поскольку современные нейросети требуют доступа к огромным массивам данных, включая веса модели и кэш. Сейчас эти данные часто хранятся в HBM, которая дорога и ограничена по объёму. HBF может стать более доступной альтернативой, позволяя разворачивать большие модели на более дешёвом оборудовании, что снизит стоимость инференса и сделает ИИ-технологии доступнее для бизнеса и конечных пользователей.

Почему HBF критична для инференса нейросетей?

Инференс — это этап, когда модель уже обучена и используется для генерации ответов, распознавания изображений или других задач. В отличие от обучения, где можно использовать пакетную обработку и ждать, инференс часто требует ответа в реальном времени. Это значит, что данные должны быть доступны практически мгновенно. HBM обеспечивает такую скорость, но её объём ограничен — обычно до 80 гигабайт на один ускоритель. Для моделей с триллионами параметров этого недостаточно. HBF позволяет хранить до десятков терабайт, что открывает путь к созданию моделей, которые невозможно разместить в HBM. При этом скорость HBF, хотя и ниже, чем у HBM, всё же достаточно высока для инференса, особенно если использовать умные алгоритмы кэширования.

Предыстория и контекст

Интерес к HBF возник не на пустом месте. В последние годы индустрия ИИ столкнулась с проблемой «стены памяти»: вычислительные мощности GPU растут быстрее, чем возможности памяти HBM. Это привело к тому, что многие ИИ-задачи, особенно инференс, стали упираться в пропускную способность памяти, а не в вычислительную мощность. Компании ищут способы обойти это ограничение, и HBF — одна из таких попыток.

Sandisk и SK hynix — давние конкуренты на рынке флэш-памяти, и их совместная работа над HBF показывает, что отрасль осознаёт необходимость стандартизации. Tenstorrent, известная своими разработками в области ИИ-чипов, также присоединилась к консорциуму, что говорит о практическом интересе со стороны производителей ускорителей. А поддержка Google DeepMind, одного из лидеров в области ИИ, добавляет HBF веса и может ускорить её внедрение.

Чем HBF отличается от HBM и других типов памяти?

Главное отличие HBF от HBM — используемая технология хранения. HBM основана на DRAM, которая быстра, но дорога и требует постоянного обновления данных. HBF использует NAND-флэш, который дешевле и позволяет хранить данные без питания, но традиционно был медленнее. Однако благодаря новому интерфейсу, разработанному в рамках HBF, скорость передачи данных значительно увеличивается, хотя и остаётся ниже, чем у HBM. Это делает HBF идеальной для задач, где важнее объём, чем минимальная задержка, например, для хранения весов больших моделей и их быстрой загрузки при инференсе.

Технические подробности и финансовые аспекты

Хотя точные технические характеристики HBF пока не раскрыты, известно, что стандарт предполагает использование интерфейса, совместимого с HBM, что упрощает интеграцию в существующие системы. Ожидается, что первые продукты на базе HBF появятся в ближайшие годы, и они будут нацелены на рынок дата-центров. Стоимость HBF будет ниже, чем у HBM, благодаря более дешёвой флэш-памяти, что может сделать ИИ-инференс значительно более экономичным.

По оценкам аналитиков, рынок памяти для ИИ растёт на 30–40% в год, и HBF может занять значительную долю в сегменте инференса, где сейчас доминирует HBM. Однако для этого необходимо, чтобы HBF была принята ведущими производителями GPU и ускорителей, такими как NVIDIA, AMD и Intel. Пока они не комментировали HBF, но поддержка со стороны Google и Tenstorrent может повлиять на их решение.

Кого затронет и как

HBF окажет влияние на несколько групп. Для разработчиков ИИ это означает возможность создавать более крупные модели и запускать их на более доступном оборудовании, что снизит барьеры входа. Для бизнеса, использующего ИИ, это может привести к снижению затрат на инфраструктуру и ускорению внедрения ИИ-решений. Для производителей памяти HBF открывает новый рынок, который может стать альтернативой традиционным решениям. В России и СНГ, где активно развиваются ИИ-проекты, HBF может быть интересна как способ оптимизации затрат на дата-центры, особенно с учётом санкционных ограничений на поставку высокотехнологичного оборудования.

Какие проблемы решит HBF для дата-центров?

Дата-центры, обслуживающие ИИ-нагрузки, сталкиваются с дилеммой: HBM слишком дорога для масштабирования, а обычные SSD слишком медленны для инференса. HBF предлагает золотую середину. Она позволяет размещать большие модели целиком в памяти, избегая медленных обращений к диску. Это ускоряет время отклика и снижает энергопотребление, так как не нужно постоянно подгружать данные. Для облачных провайдеров это означает возможность предлагать более мощные ИИ-сервисы по более низкой цене.

Что будет дальше

Ожидается, что в ближайшие месяцы консорциум представит более детальные спецификации HBF, а также дорожную карту по внедрению. Sandisk и SK hynix уже заявили о планах выпустить первые образцы HBF к 2025 году. Если стандарт будет принят рынком, мы увидим появление серверов и ускорителей, оптимизированных под HBF, что может изменить расклад сил в ИИ-индустрии. Google DeepMind, вероятно, будет одной из первых компаний, которая начнёт использовать HBF в своих дата-центрах для инференса больших моделей, что станет важным сигналом для остального рынка.

Итог

Память HBF — это значимый шаг вперёд в решении проблемы «стены памяти» для ИИ. Благодаря сочетанию большого объёма и высокой пропускной способности, она может сделать инференс больших моделей быстрее и дешевле. Поддержка Google DeepMind и Tenstorrent указывает на то, что HBF имеет реальные шансы стать стандартом в индустрии. Следить за развитием этой технологии стоит всем, кто связан с ИИ, — от разработчиков до инвесторов, ведь она может определить будущее аппаратного обеспечения для нейросетей.