ProMoE-FL: синтез пропущенных модальностей в федеративном обучении без внешних данных

Исследователи разработали новый метод ProMoE-FL, который решает проблему отсутствия модальностей в мультимодальном федеративном обучении. Этот фреймворк использует прототипно-обусловленную смесь экспертов для синтеза недостающих признаков, опираясь на глобальный банк прототипов, учитывающий клинические приоритеты. В отличие от существующих подходов, ProMoE-FL не требует внешних публичных датасетов и эффективно восстанавливает пропущенные модальности, что особенно важно для медицинских приложений, где данные часто неполны.

Как работает ProMoE-FL

ProMoE-FL строит глобальный банк прототипов, который захватывает клинически значимые приоритеты модальностей, общие для всех учреждений. Прототипы представляют собой усреднённые представления признаков для каждой модальности, полученные от всех клиентов. Затем Mixture-of-Experts (MoE) обусловлен этими прототипами и индексами модальностей, что позволяет динамически направлять экспертов для синтеза недостающих признаков. Каждый эксперт специализируется на определённой модальности или комбинации модальностей, а прототипы служат контекстом для выбора подходящего эксперта.

Почему это важно для федеративного обучения

В реальных медицинских сценариях данные часто неполны: у разных больниц могут отсутствовать определённые типы изображений, например, рентген в прямой или боковой проекции. Существующие подходы либо требуют внешних публичных датасетов, либо выполняют наивный синтез на основе доступных модальностей, что приводит к низкому качеству. ProMoE-FL обходится без внешних данных и эффективно восстанавливает пропущенные модальности, повышая точность моделей в федеративном обучении. Это особенно актуально для гетерогенных сред, где клиенты имеют разные наборы модальностей.

Какие результаты показали эксперименты

Фреймворк протестирован на четырёх публичных датасетах рентгенографии грудной клетки: MIMIC-CXR, NIH Open-I, PadChest и CheXpert. Эксперименты показали, что ProMoE-FL превосходит современные методы как в однородных, так и в более сложных гетерогенных условиях. В частности, метод достиг более высоких показателей AUC и F1 при классификации заболеваний, особенно когда у клиентов отсутствовала одна или несколько модальностей. Это подтверждает эффективность синтеза на основе прототипов.

Какие ограничения и дальнейшие направления

Не раскрыты детали архитектуры MoE и процесс обучения прототипов. Также неясно, как метод масштабируется на большее количество модальностей и типов данных. Будущие исследования могут сосредоточиться на адаптации ProMoE-FL для других доменов, таких как мультимодальные данные в автономных системах или финансах. Кроме того, важно изучить влияние количества прототипов и экспертов на производительность.

Кому будет полезен ProMoE-FL

Разработчикам медицинских AI-систем, исследователям федеративного обучения и специалистам по мультимодальному анализу данных. Метод может быть применён в здравоохранении для улучшения диагностики при неполных данных, например, при объединении данных из разных больниц с различными протоколами визуализации.

Что пока неизвестно о методе

Не раскрыты детали архитектуры MoE и процесс обучения прототипов. Также неясно, как метод масштабируется на большее количество модальностей и типов данных. Дополнительные исследования необходимы для оценки вычислительной сложности и требований к памяти при работе с большим числом клиентов.

Как ProMoE-FL сравнивается с другими методами синтеза модальностей?

ProMoE-FL отличается от существующих методов тем, что не требует внешних данных и использует глобальный банк прототипов для синтеза. В отличие от наивного синтеза на основе доступных модальностей, прототипы захватывают клинически значимые приоритеты, что приводит к более точному восстановлению. Эксперименты показали, что ProMoE-FL превосходит методы, основанные на генеративных моделях или трансфере знаний, особенно в гетерогенных условиях.