SkyPilot и Hugging Face: запуск AI-нагрузок на любом облаке с нулевым трафиком при передаче данных

Интеграция SkyPilot с Hugging Face Storage позволяет запускать AI-нагрузки на любом облачном провайдере без дополнительной платы за исходящий трафик. Это решение устраняет один из главных барьеров мультиоблачных рабочих процессов — затраты на передачу данных. Теперь исследователи и ML-инженеры могут хранить модели и датасеты на Hugging Face, а вычисления выполнять на AWS, GCP, Azure и других платформах, не беспокоясь о скрытых расходах.

Что произошло

SkyPilot, популярный фреймворк с открытым исходным кодом для запуска AI-нагрузок в мультиоблачной среде, объявил о поддержке Hugging Face Storage. Пользователи могут хранить данные, включая модели, датасеты и артефакты, на Hugging Face и запускать вычислительные задачи на любом облачном провайдере (AWS, GCP, Azure, Oracle Cloud и других) без дополнительной платы за исходящий трафик (egress). Это стало возможным благодаря интеграции, которая позволяет указывать пути к данным на Hugging Face (например, hf://username/dataset) прямо в конфигурации SkyPilot. Данные монтируются в вычислительные инстансы через FUSE или скачиваются по HTTPS, при этом трафик между Hugging Face и облачными провайдерами не тарифицируется.

Почему это важно

Традиционно при переносе данных между облаками или из одного облака в другое взимается плата за исходящий трафик, что может существенно увеличивать затраты. Например, если вы обучаете модель на AWS, а данные хранятся в GCP, каждый гигабайт передачи данных может стоить ощутимых денег. Интеграция SkyPilot с Hugging Face Storage устраняет эту проблему: данные остаются на платформе Hugging Face, а вычисления выполняются в любом облаке, при этом данные передаются по внутренним каналам без дополнительных сборов. Это упрощает мультиоблачные AI-рабочие процессы и снижает расходы на инфраструктуру. Кроме того, такой подход повышает гибкость: вы можете выбирать облако с наиболее выгодными ценами на вычисления или доступными GPU, не привязываясь к конкретному провайдеру.

Какие преимущества дает zero-egress для AI-нагрузок?

Нулевая плата за исходящий трафик особенно важна для AI/ML-задач, где объемы данных могут достигать терабайтов. При обучении больших языковых моделей или обработке крупных датасетов затраты на передачу данных могут составлять значительную часть бюджета. Интеграция SkyPilot и Hugging Face позволяет избежать этих расходов, делая мультиоблачные стратегии более доступными. Кроме того, это ускоряет эксперименты: исследователи могут быстро переключаться между облаками, не беспокоясь о дополнительных счетах. Например, если на AWS заняты все GPU, можно мгновенно запустить задачу на GCP или Azure, используя те же данные из Hugging Face Storage.

Детали интеграции

SkyPilot — это инструмент с открытым исходным кодом для запуска AI-нагрузок (обучение, инференс, пакетная обработка) на любом облаке или кластере. Он поддерживает все основные облачные провайдеры, включая AWS, GCP, Azure, Oracle Cloud, а также частные кластеры. Hugging Face Storage — это хранилище для моделей, датасетов и других артефактов, доступное через Hugging Face Hub. Интеграция позволяет указывать пути к данным на Hugging Face (например, hf://username/dataset) прямо в конфигурации SkyPilot. Данные монтируются в вычислительные инстансы через FUSE или скачиваются по HTTPS, при этом трафик между Hugging Face и облачными провайдерами не тарифицируется (zero-egress). Это достигается за счет партнерских соглашений и использования внутренних сетей, хотя точные механизмы пока не раскрыты.

Кого затронет

Интеграция будет полезна исследователям и ML-инженерам, которые работают с большими моделями и датасетами и хотят гибко выбирать облако для вычислений без дополнительных затрат на передачу данных. Команды, использующие мультиоблачные стратегии для AI/ML, также выиграют от упрощения рабочих процессов и снижения расходов. Сообщество Hugging Face, которое уже активно публикует и делится моделями, теперь может легко запускать вычисления на любом облаке через SkyPilot. Это открывает новые возможности для коллаборации и масштабирования экспериментов.

Что пока неизвестно

Детали соглашений между Hugging Face и облачными провайдерами, обеспечивающие zero-egress, остаются нераскрытыми. Возможно, это достигается через партнёрства или использование внутренних сетей, таких как AWS Direct Connect или Google Cloud Interconnect. Также пока не объявлены ограничения по объёму передаваемых данных или скорости передачи. Неясно, будет ли функция доступна бесплатно для всех пользователей Hugging Face или потребуется подписка. Ожидается, что в ближайшее время появятся дополнительные разъяснения от разработчиков SkyPilot и Hugging Face.