HumanForge: новый бенчмарк для обнаружения дипфейков с участием людей

Группа исследователей представила HumanForge — крупномасштабный набор данных для выявления поддельных видео с участием человека. В отличие от существующих бенчмарков, которые фокусируются на замене лиц или генерации видео по тексту, HumanForge охватывает сцены взаимодействия людей с объектами и друг с другом. Это критически важно для современных систем цифровой судебной экспертизы, поскольку дипфейки становятся всё более реалистичными и сложными.

Что такое HumanForge и как он создавался HumanForge — это унифицированный, многопарадигмальный набор данных, содержащий более 18 тысяч видеосегментов высокого качества. Для его создания авторы разработали инновационный пайплайн Gen2Anno, который автоматизирует генерацию и разметку поддельных видеосегментов. Gen2Anno построен на основе LangGraph и представляет собой модульный активный мультиагентный пайплайн. Он координирует работу шести специализированных агентов: от профилирования источника до анализа референсов на основе MoE (Mixture of Experts) и замкнутой судебной верификации. В результате получаются структурированные контрастные омни-аннотации, включающие бинарные решения, категории мелких артефактов и пространственно-временную локализацию.

Почему существующие бенчмарки не справляются Большинство текущих бенчмарков для детекции дипфейков сосредоточены на простых сценариях, таких как замена лиц или глобальная генерация видео по тексту. Они не учитывают важные аспекты взаимодействия человека с объектами и другими людьми, а также мультимодальное согласование. Например, дипфейк, где человек берёт предмет или общается с другим человеком, требует анализа не только лица, но и движений тела, взаимодействия с окружением и синхронизации аудио и видео. HumanForge заполняет этот пробел, предоставляя сцены с взаимодействиями, что делает его более релевантным для реальных задач судебной экспертизы.

Какие типы дипфейков покрывает HumanForge? HumanForge включает различные типы подделок: от замены лиц до полной генерации сцен с участием человека. Особое внимание уделяется взаимодействиям: человек-объект (например, взятие чашки), человек-человек (рукопожатие, разговор) и мультимодальные сцены (синхронизация речи и движений губ). Это позволяет тестировать детекторы на более широком спектре атак, которые встречаются в реальных дипфейках.

Результаты тестирования современных детекторов Исследователи протестировали на HumanForge как традиционные детекторы дипфейков, так и большие мультимодальные модели (LMMs). Результаты показали значительные сложности с нулевым обобщением и тонкой классификацией. Даже самые современные модели демонстрируют низкую точность при попытке классифицировать поддельные видео с взаимодействиями. Это подчёркивает необходимость новых подходов к обнаружению дипфейков, которые учитывают контекст и мультимодальные сигналы.

Кому будет полезен HumanForge? Набор данных будет полезен исследователям в области компьютерного зрения, специалистам по цифровой судебной экспертизе, разработчикам систем обнаружения дипфейков, а также компаниям, занимающимся верификацией видеоконтента. Код и датасет будут опубликованы в открытом доступе, что позволит сообществу использовать их для обучения и тестирования новых моделей. Это особенно важно для социальных сетей, новостных агентств и платформ видеохостинга, где дипфейки могут распространяться быстро.

Что пока неизвестно Точная дата публикации кода и датасета, а также детали лицензии не указаны. Результаты тестирования на конкретных моделях пока не раскрыты в деталях, но общая тенденция ясна: современные детекторы не готовы к сложным дипфейкам с взаимодействиями. Исследователи планируют опубликовать полные результаты в ближайшее время.