VEGAS: новый метод оценки субтитров по взгляду зрителя для персонализированных видео

Как оценить, насколько хорошо автоматически созданные субтитры к видео соответствуют тому, что действительно интересует зрителя? Группа исследователей предложила метод VEGAS (Video caption Evaluation via GAze Score), который использует данные о направлении взгляда человека во время просмотра. Это позволяет не просто генерировать универсальные описания, а адаптировать их под индивидуальное восприятие, что открывает новые возможности для поиска видео и взаимодействия с контентом.

Что такое VEGAS и как он работает

VEGAS — это кросс-модальная метрика, основанная на теории информации. В отличие от традиционных методов оценки субтитров, которые сравнивают сгенерированный текст с эталонными аннотациями, VEGAS учитывает, на какие объекты и сцены зритель обращал внимание во время просмотра. Для этого используются данные айтрекинга — записи движений глаз, которые можно собирать в реальном времени с помощью специальных устройств или даже веб-камер.

Метрика не требует переобучения модели: она вычисляет, насколько хорошо субтитры описывают те элементы видео, которые фиксировал взгляд. Исследователи провели эксперименты на датасете, включающем эгоцентричные активности (например, приготовление еды от первого лица) и учебные слайды. Для каждого видео были синхронизированы запись взгляда, эталонные аннотации и несколько вариантов автоматически сгенерированных субтитров. С помощью метода rejection sampling (отбраковочной выборки) отбирались субтитры с наивысшими показателями VEGAS.

Почему это важно для персонализации контента

Современные модели видео-языка, такие как CLIP или VideoBERT, умеют создавать описания видео, но они обычно дают общие субтитры, не учитывающие, что разные люди могут обращать внимание на разные детали. Например, при просмотре кулинарного видео один зритель сосредоточен на движениях рук, а другой — на ингредиентах. VEGAS позволяет оценить, какой из вариантов субтитров лучше соответствует фокусу внимания конкретного человека.

Эксперименты показали, что субтитры, отобранные с помощью VEGAS, значительно точнее описывают то, что действительно интересовало зрителя. Кроме того, такие субтитры улучшают задачу caption-to-video retrieval — поиск видео по текстовому запросу. Если субтитры персонализированы, то по запросу, сформулированному на основе внимания пользователя, система находит нужное видео быстрее и точнее.

Как VEGAS может изменить взаимодействие человека с ИИ

Метод открывает путь к созданию адаптивных систем, которые подстраиваются под индивидуальные предпочтения. Например, в образовательных платформах можно генерировать субтитры, акцентирующие ключевые моменты, на которые смотрел студент. В видео-сервисах — предлагать более релевантные результаты поиска, основанные не на общих тегах, а на том, что пользователь реально искал взглядом.

Кроме того, VEGAS может быть полезен для людей с ограниченными возможностями: субтитры, учитывающие направление взгляда, помогут лучше понимать контент тем, кто использует айтрекинг как основной способ взаимодействия с компьютером.

Какие ограничения есть у метода

На данный момент VEGAS протестирован только на двух типах видео: эгоцентричных активностях и учебных слайдах. Исследователи признают, что неизвестно, насколько хорошо метрика работает на других жанрах — например, на динамичных спортивных трансляциях или художественных фильмах, где внимание зрителя может быть рассеянным. Также неясно, как VEGAS поведет себя при наличии нескольких зрителей с разным фокусом внимания: метрика рассчитана на одного пользователя, и для групповых сценариев потребуется адаптация.

Вопросы, которые остаются открытыми

Как VEGAS справляется с видео, где внимание зрителя быстро переключается?

В быстроменяющихся сценах, таких как спортивные соревнования или экшн-фильмы, взгляд человека может скакать с объекта на объект. Пока не проведено тестов на таких данных, поэтому эффективность VEGAS в этих условиях остается под вопросом. Возможно, потребуется усреднение данных по временным окнам или использование дополнительных сигналов, например, частоты моргания.

Кого затронет внедрение VEGAS

Разработчиков систем автоматического описания видео — они смогут создавать более точные и персонализированные субтитры. Исследователей в области компьютерного зрения и NLP — для них это новый инструмент оценки, который учитывает человеческий фактор. Создателей персонализированных видео-сервисов и образовательных платформ — они смогут улучшить пользовательский опыт. А также разработчиков ассистивных технологий, помогающих людям с ограниченными возможностями.

Что пока неизвестно

Кроме упомянутых ограничений, неясно, насколько сложно интегрировать VEGAS в существующие пайплайны обработки видео. Сбор данных айтрекинга требует специального оборудования или программного обеспечения, что может быть барьером для массового внедрения. Однако с развитием технологий отслеживания взгляда через веб-камеры (например, в ноутбуках и смартфонах) этот метод может стать доступнее.

Также остается открытым вопрос о точности метрики при низком качестве записи взгляда или при наличии артефактов. Исследователи планируют расширить датасет и провести дополнительные эксперименты, чтобы подтвердить робастность VEGAS.

Заключение

VEGAS — это перспективный шаг к персонализации оценки видеосубтитров. Используя данные о взгляде зрителя, метод позволяет отбирать описания, которые лучше соответствуют индивидуальному восприятию. Несмотря на ограничения, связанные с типом видео и необходимостью сбора айтрекинг-данных, VEGAS может найти применение в образовании, поиске видео и ассистивных технологиях. Дальнейшие исследования должны показать, насколько метод универсален и готов к реальному использованию.