DHNet и DVT-VOD1000: новый метод обнаружения объектов на видео с RGB и тепловизором

Обнаружение объектов на видео в сложных условиях — одна из ключевых задач компьютерного зрения. Стандартные RGB-камеры теряют эффективность при плохом освещении, тумане или дожде, тогда как тепловизионные камеры работают стабильно, но их данные часто не совпадают пространственно с RGB-кадрами. Новая нейросеть DHNet (Dual-Correlation Hypergraph Network) решает эту проблему, объединяя информацию из двух модальностей и достигая высокой точности детекции. Вместе с сетью представлен крупный датасет DVT-VOD1000, который поможет обучать и тестировать подобные системы.

Как работает DHNet DHNet состоит из двух ключевых модулей, каждый из которых решает свою подзадачу. Первый — Patch-based Spatial Alignment Module (PSAM) — выравнивает признаки на уровне локальных областей. Это необходимо, потому что RGB- и тепловизионные камеры могут быть расположены в разных точках, и их изображения не совпадают пиксель в пиксель. PSAM находит соответствия между небольшими фрагментами кадров и корректирует смещение.

Второй модуль — Dual Hypergraph Fusion Module (DHFM) — строит два гиперграфа. Один гиперграф моделирует временные зависимости между последовательными кадрами, а второй — пространственные связи между модальностями. Гиперграфы позволяют учитывать не только парные, но и множественные взаимосвязи, что даёт более полное представление о сцене. В результате DHNet эффективно объединяет RGB- и тепловизионные данные, компенсируя недостатки каждого источника.

Почему это важно для видеонаблюдения и автономных систем Традиционные методы обнаружения объектов на видео полагаются только на RGB-камеры. Однако в условиях низкой освещённости, тумана, снега или дождя их точность резко падает. Тепловизионные камеры лишены этих недостатков — они видят тепловое излучение объектов, но их изображения менее детальны и часто не совмещены с RGB. DHNet решает проблему смещения и объединяет сильные стороны обеих модальностей, что особенно важно для систем видеонаблюдения, беспилотных автомобилей и роботов, работающих в сложных условиях.

Например, ночью или в густом тумане тепловизор чётко выделяет пешеходов и автомобили, а RGB-камера даёт контекст и цветовую информацию. DHNet использует оба потока данных, чтобы повысить точность детекции и снизить количество ложных срабатываний.

Какой датасет использовали исследователи Авторы создали и открыли крупный датасет DVT-VOD1000, который включает 103 464 RGBT-пары — то есть одновременно снятые RGB- и тепловизионные кадры. Датасет охватывает разнообразные сцены: кампусы, парки, транспортные развязки, сельскую местность, ночные сцены, а также условия дождя и снега. Это позволяет обучать модели, устойчивые к различным погодным условиям и времени суток.

Для сравнения, существующие датасеты, такие как VT-VOD50, содержат всего 50 видеопоследовательностей. DVT-VOD1000 на порядок больше, что даёт возможность глубже обучать нейросети и проводить более надёжные эксперименты.

Каких результатов удалось достичь Эксперименты на двух датасетах — VT-VOD50 и DVT-VOD1000 — показали, что DHNet превосходит существующие методы по точности обнаружения объектов. Сеть эффективно справляется с разными типами объектов, включая пешеходов, велосипедистов и автомобили, в сложных условиях. Точность измерялась по стандартным метрикам, таким как средняя точность (AP) и средняя полнота (AR). DHNet показал значительное улучшение по сравнению с базовыми методами, особенно в сценах с плохой видимостью.

Какие ограничения есть у DHNet Пока не опубликованы данные о скорости работы DHNet в реальном времени и требованиях к вычислительным ресурсам. Для практического применения в беспилотных автомобилях или системах видеонаблюдения важна частота кадров и задержка. Также неизвестно, насколько сложно развернуть модель на устройствах с ограниченными вычислительными возможностями, например на встраиваемых системах. Исследователи обещают опубликовать код и датасет позже, что позволит сообществу провести дополнительные тесты.

Что это значит для разработчиков и исследователей Разработчики систем видеонаблюдения, беспилотных автомобилей и роботов смогут использовать DHNet и датасет DVT-VOD1000 для создания более надёжных решений. Исследователи в области мультимодального компьютерного зрения получат новый инструмент для изучения слияния RGB и тепловизионных данных. Датасет может стать стандартным бенчмарком для задач видеообнаружения в сложных условиях.

Какие перспективы у технологии В будущем DHNet может быть доработан для работы в реальном времени, а также адаптирован для других типов датчиков, например LiDAR или глубинных камер. Объединение нескольких модальностей — перспективное направление, которое делает системы компьютерного зрения более устойчивыми к изменениям среды. DVT-VOD1000, в свою очередь, станет основой для новых исследований и конкурсов.

Где можно узнать больше Подробности о DHNet и датасете DVT-VOD1000 описаны в научной работе, доступной в открытых источниках. Код и датасет будут опубликованы в ближайшее время. Следите за обновлениями в репозиториях авторов.