CoCo-Fed: новый фреймворк для эффективного федеративного обучения на границе сети

Федеративное обучение на периферийных устройствах сталкивается с двумя основными препятствиями: ограниченной памятью и перегрузкой каналов связи. Исследователи предложили CoCo-Fed — фреймворк, который одновременно решает обе проблемы, позволяя развертывать крупные нейросети в архитектуре Open RAN (O-RAN). Работа опубликована на arXiv и демонстрирует значительное снижение требований к памяти и трафику при сохранении сходимости даже на неоднородных данных.

Проблемы федеративного обучения на границе

Развертывание больших моделей глубокого обучения в беспроводных сетях, таких как O-RAN, ограничено двумя ключевыми факторами. Во-первых, периферийные устройства, например gNB, имеют ограниченную память и вычислительные ресурсы, что затрудняет локальное обучение. Во-вторых, передача многомерных обновлений модели между устройствами и центральным сервером создает значительную нагрузку на каналы связи, особенно при большом числе участников. Традиционные методы, такие как сжатие градиентов или асинхронное обучение, решают лишь одну из проблем, но не обе одновременно.

Как CoCo-Fed решает проблему памяти

Локально CoCo-Fed уменьшает потребление памяти за счет двукратного понижения размерности градиентов. Оптимизатор работает с низкоранговыми структурами, что позволяет хранить и обрабатывать обновления без добавления дополнительных параметров при инференсе. Это достигается путем проецирования градиентов на подпространство меньшей размерности, что существенно снижает объем памяти, необходимый для локального обучения. Такой подход особенно важен для устройств с ограниченными ресурсами, где каждый мегабайт на счету.

Как CoCo-Fed снижает нагрузку на каналы связи

Глобально CoCo-Fed использует протокол передачи на основе суперпозиции ортогональных подпространств. Обновления каждого слоя модели проецируются на ортогональные подпространства и затем накладываются в единую матрицу на каждом gNB. Это резко сокращает объем передаваемых данных, так как вместо отправки полных обновлений передается только их проекция. Такой подход позволяет агрегировать обновления от множества устройств без значительного увеличения трафика, что критично для сетей с ограниченной пропускной способностью.

Доказательство сходимости и экспериментальные результаты

Авторы доказали сходимость метода даже для задач обучения без учителя, что актуально для таких приложений, как беспроводное зондирование. Эксперименты на задаче оценки угла прихода сигнала показали, что CoCo-Fed превосходит существующие решения по памяти и трафику, при этом сохраняя сходимость на неоднородных данных (non-IID). Это означает, что метод эффективен в реальных сценариях, где данные на разных устройствах могут сильно различаться.

Какие преимущества дает CoCo-Fed для операторов сетей?

Для операторов сетей O-RAN CoCo-Fed открывает возможность развертывания более сложных моделей ИИ на периферии без необходимости модернизации оборудования. Снижение требований к памяти и трафику позволяет использовать существующие gNB для задач, которые ранее были невозможны из-за ресурсных ограничений. Это может ускорить внедрение интеллектуальных функций, таких как оптимизация радиоресурсов и обнаружение аномалий, непосредственно на границе сети.

Кого затронет новая технология

Разработчиков систем федеративного обучения для периферийных вычислений, операторов сетей O-RAN, исследователей в области беспроводной связи и распределенного ИИ. CoCo-Fed может стать основой для будущих стандартов федеративного обучения в телекоммуникациях, где эффективность использования ресурсов является ключевым требованием.

Что пока неизвестно

В работе не указаны точные вычислительные затраты на проекции и суперпозицию, а также сравнение по времени обучения с другими методами. Неясно, насколько метод масштабируется на очень большое число устройств (например, тысячи gNB). Дополнительные исследования необходимы для оценки производительности в крупномасштабных развертываниях и при различных конфигурациях сети. Тем не менее, CoCo-Fed представляет собой многообещающий шаг к практическому федеративному обучению на беспроводной границе.