Обзор методов Continual Test-Time Adaptation в компьютерном зрении: как модели адаптируются на лету

Адаптация моделей компьютерного зрения к постоянно меняющимся данным на этапе тестирования без доступа к исходным размеченным данным — ключевая задача Continual Test-Time Adaptation (CTTA). Этот подход позволяет нейросетям сохранять точность в реальных условиях, где распределение данных непрерывно сдвигается из-за изменений погоды, освещения или других факторов. В недавнем обзоре arXiv:2607.08164v1 авторы систематизировали существующие методы CTTA, выделили их сильные стороны и обозначили открытые проблемы.

Что такое Continual Test-Time Adaptation и почему это важно

В традиционном машинном обучении модель обучается на статическом наборе данных и затем применяется на тестовой выборке, предполагая, что распределение данных не меняется. Однако на практике, особенно в компьютерном зрении, тестовые данные часто отличаются от обучающих: камера может быть установлена в другом месте, время суток меняется, появляются осадки или туман. Эти изменения приводят к падению точности модели, что критично для приложений вроде автономного вождения или видеонаблюдения.

Test-Time Adaptation (TTA) решает эту проблему, позволяя модели адаптироваться к новому домену непосредственно на этапе тестирования, используя только немаркированные тестовые данные. Однако в реальных сценариях распределение данных может меняться многократно и непрерывно — например, автомобиль едет из солнечной зоны в дождливую, а затем в ночную. Здесь на помощь приходит Continual Test-Time Adaptation (CTTA), которая адаптирует модель к последовательности сдвигов доменов, не забывая предыдущие знания и не накапливая ошибки от шумных псевдометок.

Основные подходы к CTTA: таксономия методов

Авторы обзора предлагают классификацию методов CTTA по трем основным категориям: оптимизационные, параметро-эффективные и архитектурные. Каждая группа решает задачу адаптации по-своему, имея свои преимущества и ограничения.

Оптимизационные методы: минимизация энтропии и псевдолейблинг

Оптимизационные методы основаны на настройке параметров модели с использованием специальных функций потерь. Наиболее распространенный подход — минимизация энтропии предсказаний, которая заставляет модель быть более уверенной в своих решениях. Это особенно эффективно, когда сдвиг домена невелик. Другой популярный метод — псевдолейблинг, где модель сначала делает предсказания на тестовых данных, а затем использует их как псевдо-метки для дообучения. Однако при сильном сдвиге домена псевдометки могут быть шумными, что приводит к накоплению ошибок. Для борьбы с этим применяют техники восстановления параметров, которые периодически возвращают модель к исходному состоянию, предотвращая катастрофическое забывание.

Параметро-эффективные методы: адаптация слоев нормализации

Параметро-эффективные методы не требуют полного дообучения всей модели. Вместо этого они адаптируют лишь небольшую часть параметров, например, слои нормализации (BatchNorm, LayerNorm). Поскольку эти слои отвечают за статистику активаций, их настройка под новый домен может существенно улучшить точность без риска переобучения. Другой подход — выбор параметров, когда для каждого нового домена выбирается подмножество параметров для обновления. Это снижает вычислительные затраты и помогает избежать забывания.

Архитектурные методы: teacher-student и визуальный промптинг

Архитектурные методы модифицируют структуру модели, добавляя адаптивные компоненты. Классический пример — teacher-student архитектура, где teacher-модель (часто исходная) генерирует мягкие метки для student-модели, которая адаптируется к новому домену. Это стабилизирует обучение и уменьшает шум. Другие подходы включают адаптеры — небольшие модули, встраиваемые в модель и обучаемые на тестовых данных, а также визуальный промптинг, где на вход модели добавляются обучаемые токены, направляющие её внимание. Методы маскированного моделирования, заимствованные из NLP, также находят применение: модель учится восстанавливать замаскированные части изображения, что улучшает обобщающую способность.

Сравнительные бенчмарки и результаты экспериментов

В обзоре приводятся результаты экспериментов на стандартных наборах данных, таких как ImageNet-C (с синтетическими сдвигами) и CIFAR-10-C. Методы CTTA сравниваются по точности, скорости адаптации и устойчивости к катастрофическому забыванию. Лучшие результаты показывают комбинированные подходы, сочетающие минимизацию энтропии с teacher-student архитектурой. Однако ни один метод не является универсальным: эффективность зависит от типа сдвига домена (корреляционный, ковариатный и т.д.) и его интенсивности.

Какие открытые проблемы остаются в CTTA?

Несмотря на прогресс, CTTA остаётся активной областью исследований. Одна из главных проблем — адаптация фундаментальных моделей (например, CLIP) и моделей-черных ящиков, где доступ к параметрам ограничен. В таких случаях приходится полагаться только на выходные данные модели, что усложняет адаптацию. Другая проблема — масштабирование на длинные последовательности сдвигов: с каждым новым доменом риск катастрофического забывания возрастает. Также остаётся нерешённым вопрос оценки качества адаптации в реальных условиях без меток.

Кого затронет развитие CTTA?

Разработчики моделей компьютерного зрения, исследователи в области адаптации доменов и инженеры, внедряющие модели в изменяющихся средах, напрямую выиграют от прогресса в CTTA. Особенно это актуально для автономного вождения, где условия меняются каждую секунду, и для систем видеонаблюдения, работающих круглосуточно. Благодаря CTTA модели смогут дольше сохранять высокую точность без необходимости частого переобучения.

Как CTTA отличается от других видов адаптации?

CTTA занимает промежуточное положение между классической Test-Time Adaptation (TTA) и Continual Learning (CL). В TTA модель адаптируется к одному статическому сдвигу домена, тогда как в CL модель обучается на последовательности задач с метками. CTTA же работает с непрерывным потоком немаркированных тестовых данных, что ближе к реальным сценариям. Отличие от Domain Adaptation (DA) в том, что DA требует доступа к исходным данным, а CTTA — нет.

Заключение

Обзор методов Continual Test-Time Adaptation демонстрирует, что эта область быстро развивается, предлагая решения для критически важных приложений. Оптимизационные, параметро-эффективные и архитектурные методы имеют свои ниши, а комбинирование подходов даёт наилучшие результаты. Однако остаются вызовы, связанные с фундаментальными моделями и длительными последовательностями сдвигов. Дальнейшие исследования должны сосредоточиться на создании более универсальных и масштабируемых методов CTTA.