WaspMOT: новый бенчмарк для долгосрочного трекинга объектов на примере ос-трихограмм

Долгосрочный трекинг объектов — одна из самых сложных задач компьютерного зрения. Большинство существующих бенчмарков оценивают алгоритмы на коротких видеороликах, где объекты быстро исчезают из кадра. Но что, если нужно отслеживать идентичность объекта на протяжении тысяч кадров? Именно этот вопрос поставили перед собой исследователи, представив WaspMOT — новый бенчмарк для multi-object tracking (MOT), основанный на видеозаписях ос-трихограмм. В отличие от стандартных датасетов, здесь все объекты остаются в кадре на протяжении всего видео, что создаёт уникальные условия для проверки алгоритмов на сохранение идентичности.

Что такое WaspMOT и как он устроен

WaspMOT — это набор данных, состоящий из десяти видеопоследовательностей, каждая длительностью более восьми минут (около 12 000 кадров при частоте 25 кадров в секунду). Все кадры размечены вручную с плотной разметкой MOTChallenge, а детекции объектов считаются «оракульными» — то есть идеальными, чтобы исключить влияние ошибок детекции и сосредоточиться исключительно на задаче ассоциации треков. Объектами трекинга выступают осы Trichogramma, которые постоянно присутствуют в замкнутой сцене. Это означает, что алгоритмы должны сохранять идентичность каждой осы на протяжении всего видео, не теряя и не путая траектории.

Почему долгосрочный трекинг — это вызов для современных методов

Современные алгоритмы MOT, такие как ByteTrack, BoT-SORT, C-BIoU, OC-SORT и McByte, были разработаны и протестированы в основном на коротких видеороликах (например, в датасетах MOT17 или MOT20). В таких условиях объекты часто покидают кадр или перекрываются ненадолго, что упрощает задачу. Однако в WaspMOT все объекты находятся в кадре постоянно, и их траектории могут пересекаться, расходиться и снова сближаться на протяжении тысяч кадров. Это приводит к фрагментации треков — алгоритмы теряют идентичность объекта и присваивают ему новый ID после перекрытия или длительного отсутствия. Исследователи показали, что даже лучшие современные методы страдают от этой проблемы, что подчёркивает необходимость новых подходов к ассоциации объектов во времени.

Какой метод лучше всего справляется с долгосрочным трекингом?

В рамках бенчмарка было оценено пять популярных методов трекинга. Ни один из них не показал идеальных результатов, но простой метод сшивания треков (spatial tracklet stitching) стабильно улучшал показатели всех алгоритмов. Этот метод объединяет короткие фрагменты траекторий в более длинные, используя пространственную близость и временную последовательность. Это говорит о том, что существующие алгоритмы неэффективно используют информацию о долгосрочных связях, и даже небольшое улучшение в ассоциации может значительно повысить качество трекинга.

Кому будет полезен WaspMOT

Новый бенчмарк в первую очередь адресован разработчикам алгоритмов MOT, особенно тем, кто работает над долгосрочным трекингом. Исследователи в области компьютерного зрения и анализа видео смогут использовать WaspMOT для тестирования и улучшения своих методов. Кроме того, специалисты по экологии и биологии, которые занимаются автоматическим отслеживанием насекомых, получат инструмент для оценки точности трекинга в условиях, близких к реальным. Например, осы Trichogramma используются в биологической борьбе с вредителями, и автоматический мониторинг их перемещений может помочь в оптимизации выпуска этих насекомых.

Что остаётся неизвестным и какие перспективы

Несмотря на все преимущества, WaspMOT имеет ограничения. Во-первых, использование «оракульных» детекций не отражает реальных условий, где детекции могут быть неточными или пропущенными. Во-вторых, пока неясно, насколько результаты, полученные на осах, можно перенести на другие домены — например, на трекинг людей, животных или транспортных средств. Однако авторы планируют расширять бенчмарк, добавляя новые сцены и типы объектов. Это позволит создать более универсальный инструмент для оценки долгосрочного трекинга.

Выводы

WaspMOT заполняет важный пробел в области оценки алгоритмов multi-object tracking. Он показывает, что современные методы не готовы к долгосрочному трекингу в замкнутых сценах, и стимулирует разработку новых подходов к ассоциации объектов. Для исследователей и разработчиков это ценный инструмент, который поможет сделать следующий шаг в развитии компьютерного зрения.