Новый блок LDFE улучшает обнаружение объектов по RGB и ИК-изображениям

Объединение данных с обычных и инфракрасных камер позволяет системам компьютерного зрения видеть в условиях плохой видимости — в тумане, ночью или при ярких бликах. Однако эффективное слияние этих двух типов изображений долгое время оставалось сложной задачей. Исследователи предложили новый блок под названием Laplacian Decoupled Feature Enhancement (LDFE), который значительно повышает точность обнаружения объектов при работе с RGB и инфракрасными данными. Этот подход основан на двухпоточной сверточной нейронной сети и использует пирамиду Лапласа для разделения и последующего улучшения признаков.

Как работает LDFE

Блок LDFE последовательно выполняет несколько этапов обработки: глобально-локальное разложение признаков, шумоподавление, слияние модальностей и восстановление. Ключевая идея заключается в том, чтобы разделить признаки на глобальные и локальные компоненты с помощью пирамиды Лапласа. Это позволяет обрабатывать крупные структуры и мелкие детали отдельно, что особенно важно для инфракрасных изображений, где шум может быть значительным.

Почему глобально-локальное разложение так важно?

Глобальные признаки отвечают за общую форму и расположение объектов, а локальные — за текстуру и границы. В инфракрасных изображениях локальные детали часто зашумлены, поэтому их изолированная обработка позволяет эффективно подавить шум, не потеряв важную информацию. LDFE использует две параллельные ветви: глобальную (GS2E) и локальную (LC2E). В глобальной ветви применяется кросс-модальное внимание для динамического подавления шума и State Space Model для захвата долгосрочных зависимостей. Локальная ветвь использует пространственно-канальные и тройные свертки для извлечения мелких деталей.

Преимущества перед существующими методами

Большинство современных подходов к слиянию RGB и ИК-изображений либо просто объединяют признаки на поздних стадиях, либо используют фиксированные веса для модальностей. LDFE решает проблему более гибко: модальности могут чередоваться в роли основной и вспомогательной, что обеспечивает двунаправленное взаимодействие. Это означает, что система может адаптивно выбирать, какая модальность сейчас важнее — например, в полной темноте инфракрасный канал становится основным, а при дневном свете — RGB.

Как это влияет на точность обнаружения?

Эксперименты показывают, что LDFE превосходит существующие методы на стандартных наборах данных, таких как KAIST и FLIR. Улучшение особенно заметно в сложных сценариях: при обнаружении пешеходов ночью или автомобилей в тумане. Благодаря раздельной обработке глобальных и локальных признаков, блок лучше сохраняет мелкие объекты и уменьшает количество ложных срабатываний.

Кому пригодится эта технология

Разработчики систем автономного вождения получат более надежное обнаружение препятствий в любых погодных условиях. В видеонаблюдении LDFE позволит точнее распознавать людей и предметы в темное время суток. Робототехника также выиграет: роботы смогут ориентироваться в задымленных или плохо освещенных помещениях. Метод не требует дорогостоящего оборудования и может быть интегрирован в существующие CNN-архитектуры.

Ограничения и неизвестные факторы

На данный момент не раскрыты детали реализации LDFE на конкретных аппаратных платформах, таких как NVIDIA Jetson или FPGA. Скорость вывода также не указана — это критично для реального времени в автономных системах. Кроме того, неясно, насколько устойчив метод к сильным шумам, например, при работе с дешевыми инфракрасными сенсорами. Возможно, потребуется дополнительная калибровка для разных типов камер.

Какие перспективы у LDFE?

Исследователи планируют адаптировать блок для других задач, таких как семантическая сегментация и отслеживание объектов. Также возможно применение в мультиспектральной съемке с большим числом каналов. Если удастся оптимизировать скорость работы, LDFE может стать стандартным компонентом в системах компьютерного зрения, работающих в экстремальных условиях.