Sandisk и SK Hynix выпустили открытый стандарт High Bandwidth Flash для ИИ

Первый открытый стандарт High Bandwidth Flash (HBF) опубликовали компании Sandisk и SK Hynix в рамках проекта Open Compute Project (OCP). Этот новый тип памяти занимает промежуточное положение между высокоскоростной HBM и емкими SSD, предлагая компромисс по скорости, емкости и стоимости. Решение уже

HBF создан для систем искусственного интеллекта, где критически важна скорость доступа к большим объемам данных. Модели ИИ становятся все сложнее, и им требуется все больше памяти для хранения параметров и промежуточных вычислений. Традиционная HBM обеспечивает высокую пропускную способность, но стоит очень дорого и ограничена по емкости. SSD-накопители, наоборот, предлагают большую емкость, но работают на порядок медленнее. HBF призван заполнить эту нишу, используя NAND-флеш в стековой конфигурации и обеспечивая пропускную способность до 3 ТБ/с.

Что такое High Bandwidth Flash и зачем он нужен

High Bandwidth Flash — это новый стандарт памяти, который использует стеклянные NAND-чипы в 8- и 16-слойных конфигурациях. Это позволяет достигать емкости до 512 ГБ на модуль, что значительно больше, чем у HBM. Пропускная способность варьируется от 0,4 ТБ/с до 3 ТБ/с в зависимости от реализации, что делает HBF подходящим для различных задач — от инференса до обучения моделей.

Ключевая особенность HBF — использование интерфейса UCIe (Universal Chiplet Interconnect Express). Этот интерфейс позволяет легко интегрировать модули HBF с процессорами, GPU и другими ускорителями без необходимости создавать специализированные контроллеры. Благодаря этому стандарт становится универсальным для разных архитектур, упрощая проектирование систем и снижая затраты на разработку.

Чем HBF отличается от HBM и SSD?

HBM (High Bandwidth Memory) — это тип памяти, который устанавливается непосредственно на ускорители (например, GPU) и обеспечивает сверхвысокую пропускную способность. Однако производство HBM дорого, а емкость ограничена из-за сложности упаковки. SSD — это накопители на основе NAND-флеш, которые предлагают большую емкость, но работают на порядок медленнее из-за последовательного доступа.

HBF занимает промежуточное положение. Он использует NAND-чипы, упакованные в стеки, что обеспечивает более высокую пропускную способность, чем у SSD, и большую емкость, чем у HBM. При этом стоимость HBF ниже, чем у HBM, что делает его привлекательным для систем, где требуется большой объем памяти по разумной цене. Важно отметить, что HBF не заменяет HBM полностью: в системах ИИ HBM по-прежнему будет использоваться для самых требовательных задач, а HBF добавит дополнительный уровень памяти для больших моделей, которые не помещаются в HBM.

Технические подробности и механика HBF

Спецификация HBF предусматривает использование UCIe-интерфейса, который позволяет интегрировать модули HBF с другими чипами через высокоскоростные каналы. Это упрощает проектирование систем: разработчикам не нужно создавать специализированные контроллеры, а можно использовать стандартные интерфейсы. Емкость до 512 ГБ достигается за счет 8- и 16-слойных стеков NAND, где каждый слой — это отдельный чип. Пропускная способность масштабируется от 0,4 ТБ/с до 3 ТБ/с, что позволяет подбирать модуль под конкретные задачи.

В спецификации также учтены вопросы надежности и энергопотребления. HBF использует те же технологии, что и современные SSD, включая коррекцию ошибок и wear leveling, что обеспечивает долгий срок службы. Энергопотребление оптимизировано для работы в центрах обработки данных, где важна эффективность.

Кого затронет новый стандарт и как

Новый стандарт окажет влияние на несколько групп. Производители оборудования для ИИ, такие как Google и Tenstorrent, смогут создавать более экономичные системы с большим объемом памяти. Разработчики моделей ИИ получат возможность запускать более крупные модели без необходимости приобретать сверхдорогие ускорители. Для производителей памяти, включая Sandisk и SK Hynix, это открывает новый рынок, который может стать альтернативой HBM.

Для российских и СНГ-разработчиков это также важно: открытый стандарт позволяет использовать HBF в собственных разработках без лицензионных отчислений. Однако пока нет коммерческих образцов, поэтому говорить о практическом применении рано. Тем не менее, уже сейчас можно начинать изучение спецификации и планировать интеграцию HBF в будущие проекты.

Предыстория и контекст

Рост сложности моделей ИИ требует все больше памяти для хранения параметров и промежуточных данных. Традиционная HBM обеспечивает высокую пропускную способность, но стоит очень дорого и ограничена по емкости. С другой стороны, SSD-накопители предлагают большую емкость, но слишком медленны для оперативной работы с данными. HBF призван решить эту дилемму, предлагая компромисс: скорость выше, чем у SSD, и емкость больше, чем у HBM, при более низкой стоимости.

Open Compute Project уже давно занимается стандартизацией оборудования для центров обработки данных. Участие Sandisk и SK Hynix — двух крупнейших производителей флеш-памяти — придает стандарту вес. Ранее компании уже сотрудничали в рамках OCP над другими проектами, но HBF стал первым стандартом, который объединяет память и хранение в одном решении.

Что будет дальше

Ожидается, что первые коммерческие продукты на основе HBF появятся в течение ближайших лет. Sandisk и SK Hynix уже анонсировали планы по выпуску модулей HBF, но конкретные даты не названы. Также стоит ожидать, что к стандарту присоединятся другие производители памяти, такие как Samsung и Micron, что ускорит развитие экосистемы. Независимые тесты покажут реальную производительность и надежность, что станет ключевым фактором для принятия технологии рынком.

Итог

Публикация открытого стандарта HBF — важный шаг в развитии памяти для ИИ. Она предлагает экономичную альтернативу HBM и может стать стандартом для систем, где важна емкость и скорость. Следите за развитием событий: если HBF оправдает ожидания, это изменит рынок памяти и ИИ-оборудования в целом.