Новый метод обучения улучшает распознавание взаимодействия рук и объектов в видео

Исследователи разработали новый метод обучения для видео-языковых моделей, который позволяет значительно точнее распознавать взаимодействия рук и объектов (HOI) в видеозаписях. Эта работа, опубликованная на arXiv, предлагает инновационную парадигму, основанную на маскированном обучении рук и объектов и специализированном декодере, учитывающем динамику HOI. Для оценки моделей по отдельным модальностям также создан тестбенд DEHOI, который позволяет изолированно анализировать вклад рук и объектов в распознавание действий.

Почему это важно для компьютерного зрения

Современные видео-языковые модели часто полагаются на ложные корреляции — например, они могут использовать фон или наличие объекта, не улавливая истинные изменения в положении рук и объекта. Это приводит к ошибкам в распознавании действий, особенно в сложных сценах. Новый подход заставляет модель обучаться на частичных наблюдениях: она видит только руки или только объекты и должна предсказать их расположение и семантику. Это повышает устойчивость и точность распознавания, делая модели более надежными в реальных условиях.

Как работает новый метод

Маскированное обучение рук и объектов

Предложенный метод включает два ключевых компонента. Первый — маскированное обучение, при котором модель учится распознавать HOI по частичным данным. Например, на этапе обучения часть информации о руках или объектах скрывается, и модель должна восстановить недостающие детали. Это заставляет ее учитывать обе модальности и не полагаться только на одну из них.

Декодер, учитывающий динамику HOI

Второй компонент — специализированный декодер, который на основе скрытых представлений предсказывает локализацию и семантику рук и объектов. Этот декодер учитывает временную динамику взаимодействия, что позволяет модели лучше понимать, как меняются положение и состояние рук и объектов во времени. Благодаря этому модель может точнее распознавать действия, даже если одна из модальностей частично скрыта или зашумлена.

Тестбенд DEHOI для изолированной оценки

Для проверки способности моделей к изолированному анализу создан тестбенд DEHOI. В нем с помощью инпейнтинга разделяются наблюдения за руками и объектами: в одних видео скрыты руки, в других — объекты. Это позволяет оценить, насколько модель умеет использовать каждую модальность по отдельности. Эксперименты показали, что предложенная стратегия превосходит существующие модели на DEHOI, а также на стандартных задачах распознавания действий, распознавания состояний объектов и даже распознавания действий роботов.

Какие проблемы решает новый подход

Как улучшить распознавание действий в видео?

Одна из главных проблем современных моделей — использование ложных корреляций. Например, модель может "научиться" распознавать действие "резать" по наличию ножа на кухонном столе, а не по движению руки. Новый метод заставляет модель фокусироваться на истинных изменениях в руках и объектах, что делает распознавание более точным. Это особенно важно для приложений, где контекст может вводить в заблуждение, например, в робототехнике или анализе поведения человека.

Как повысить устойчивость к частичным данным?

В реальных видео часто бывает, что руки или объекты частично скрыты, заслонены или находятся вне кадра. Маскированное обучение делает модель устойчивой к таким ситуациям, поскольку она обучается работать с неполными данными. Это расширяет возможности применения моделей в реальных условиях, где идеальные наблюдения редки.

Кого затронет это исследование

Разработчиков видео-языковых моделей, исследователей в области компьютерного зрения и робототехники, а также специалистов по взаимодействию человека и робота. Результаты могут быть полезны для создания более надежных систем анализа действий в видео, например, для автоматического мониторинга производственных процессов, анализа спортивных тренировок или управления роботами-помощниками.

Что пока неизвестно

Пока неясно, как метод масштабируется на более крупные наборы данных и как он поведет себя в реальных приложениях с шумными данными. Также не приведены результаты на широко используемых бенчмарках, таких как EPIC-Kitchens или Something-Something. Дальнейшие исследования должны показать, насколько метод эффективен в условиях, близких к реальным, и можно ли его интегрировать в существующие системы без значительного увеличения вычислительных затрат.