FDRMFL: новый метод федеративного обучения повышает точность регрессии на неоднородных данных

Федеративное обучение (FL) позволяет обучать модели на данных, распределенных по множеству клиентов, без их централизованного сбора. Однако на практике данные часто неоднородны (non-IID) и мультимодальны, что снижает точность, особенно в задачах регрессии. Группа исследователей представила FDRMFL (Federated Distributed Representation for Multimodal Feature Learning) — новый подход, который объединяет извлечение признаков и регрессию в единую локальную целевую функцию, достигая значительного улучшения точности на неоднородных данных.

Как работает FDRMFL

FDRMFL решает проблему неоднородности и мультимодальности, комбинируя четыре компонента в локальной целевой функции. Первый компонент — стандартная среднеквадратичная ошибка (MSE), которая минимизирует разницу между предсказаниями и истинными значениями. Второй — суррогат взаимной информации на основе корреляции, который помогает извлекать признаки, наиболее релевантные для целевой переменной. Третий — симметричный KL-штраф, выравнивающий кросс-модальные распределения, что особенно важно, когда данные представлены в разных модальностях (например, изображения и текст). Четвертый — контрастивные потери InfoNCE, которые согласуют локальные представления с глобальным консенсусом, получаемым от сервера. Такой комплексный подход позволяет FDRMFL одновременно извлекать полезные признаки и выполнять регрессию, избегая потери информации, характерной для раздельного обучения.

Почему FDRMFL превосходит традиционные методы

Традиционные методы федеративного обучения, такие как FedAvg, FedProx или SCAFFOLD, часто используют отдельный этап извлечения признаков (например, PCA или VAE), что может приводить к потере информации, важной для регрессии. Кроме того, при неоднородном распределении данных локальные модели могут сильно расходиться, ухудшая глобальную модель. FDRMFL решает эти проблемы, объединяя извлечение признаков и регрессию в единую задачу, а также используя контрастивное обучение для согласования представлений. В экспериментах на трех синтетических и двух реальных наборах данных спектроскопии ближнего инфракрасного диапазона FDRMFL снизил среднюю MSE на 33,8% по сравнению с лучшим традиционным базовым методом (PCA) и на 43,0% по сравнению с VAE. Среди шести федеративных алгоритмов (FedAvg, FedProx, MOON, SCAFFOLD, FedBN) FDRMFL показал наименьшую общую среднюю MSE. Абляционный анализ подтвердил, что каждый компонент целевой функции вносит существенный вклад в итоговую точность.

Какие практические применения у FDRMFL?

FDRMFL особенно полезен в областях, где данные распределены по множеству клиентов и имеют разные модальности. Например, в медицине данные пациентов могут включать изображения МРТ, текстовые отчеты и временные ряды показателей. Федеративное обучение позволяет обучать модели без обмена конфиденциальными данными, но неоднородность и мультимодальность снижают точность. FDRMFL может улучшить диагностические модели, например, для прогнозирования прогрессирования заболевания. В промышленности датчики IoT собирают данные разных типов (вибрация, температура, звук) для предсказания отказов оборудования. FDRMFL позволяет эффективно использовать эти данные, не передавая их на центральный сервер. Также метод применим в финансах для оценки рисков на основе мультимодальных данных клиентов.

Ограничения и дальнейшие исследования

Несмотря на впечатляющие результаты, FDRMFL имеет ограничения. В текущем исследовании не изучалась масштабируемость метода на большое число клиентов (более 100). При увеличении числа клиентов может возрасти коммуникационная нагрузка и сложность согласования глобального консенсуса. Также не исследована устойчивость к атакам, таким как отравление данных или выбросы, что важно для безопасных приложений. Кроме того, эксперименты проводились только на данных спектроскопии; требуется проверка на других модальностях, например, изображениях, тексте или временных рядах. Будущие работы могут быть направлены на улучшение масштабируемости, добавление механизмов защиты от атак и тестирование на более разнообразных наборах данных.

Заключение

FDRMFL представляет собой значительный шаг вперед в федеративном обучении для регрессии на неоднородных мультимодальных данных. Объединяя извлечение признаков и регрессию в единую целевую функцию с четырьмя компонентами, метод достигает существенного снижения MSE по сравнению с существующими подходами. Это открывает новые возможности для применения FL в медицине, промышленности и других областях, где данные распределены и разнородны. Однако для широкого внедрения необходимо решить вопросы масштабируемости и безопасности.