Face-trace: новый метод находит создателей синтетических лиц даже для неизвестных генераторов

Группа исследователей представила метод атрибуции синтетических изображений лиц под названием Face-trace. В отличие от большинства существующих подходов, которые работают только с заранее известными генераторами, Face-trace способен определять источник изображения даже в случае, если генератор ранее

Как работает Face-trace

Конвейер Face-trace состоит из трёх последовательных этапов. На первом этапе выполняется классификация изображений от известных генераторов с использованием замороженного кодировщика I-JEPA. Затем применяется энергетический детектор для отбраковки образцов, которые не соответствуют распределению известных моделей. На третьем этапе отбракованные изображения представляются комбинацией проекционных признаков I-JEPA и судебных самодескрипторов, после чего кластеризуются для выявления групп неизвестных генераторов.

Какие результаты показал Face-trace

Эксперименты на наборе данных WILD продемонстрировали высокую эффективность метода. Точность классификации в закрытом множестве достигла 96,73%, сбалансированная точность при отбраковке неизвестных образцов составила 71,25%, а чистота кластеризации неизвестных генераторов — 87,74%. В инкрементальном сценарии, когда новые генераторы добавляются постепенно, чистота кластеризации возросла до 99,23%.

Почему это важно для борьбы с дипфейками

С развитием генеративного ИИ синтетические лица становятся всё более реалистичными, что создаёт серьёзные вызовы для судебной экспертизы мультимедиа. Возможность определить источник поддельного изображения критична для борьбы с дипфейками и дезинформацией. Однако на практике постоянно появляются новые генераторы, и методы, работающие только с известным набором моделей, быстро устаревают. Face-trace предлагает решение, которое может адаптироваться к новым генераторам без полного переобучения.

Какие ограничения есть у метода

Авторы отмечают, что хотя метод демонстрирует хорошие результаты на наборе WILD, кросс-датасетные эксперименты показывают, что постобработка, такая как сжатие или фильтры, остаётся сложной задачей. Также неизвестно, как метод поведёт себя на изображениях, созданных моделями, существенно отличающимися от обучающего распределения. Эти ограничения требуют дальнейших исследований.

Кому пригодится Face-trace

Разработчики систем судебной экспертизы мультимедиа, платформы по борьбе с дипфейками, исследователи в области компьютерного зрения и безопасности, а также организации, занимающиеся верификацией контента, смогут использовать этот метод для повышения точности атрибуции синтетических изображений. Face-trace открывает новые возможности для автоматического обнаружения и классификации поддельных лиц, что особенно актуально в эпоху распространения дезинформации.

Как метод справляется с неизвестными генераторами

Отличительная особенность Face-trace — способность обрабатывать изображения от генераторов, которые не использовались при обучении. Это достигается за счёт комбинации энергетического детектора и кластеризации на основе признаков. Такой подход позволяет не только отбрасывать неизвестные образцы, но и группировать их по предполагаемому источнику, что даёт возможность аналитикам выявлять новые модели генерации.

Перспективы развития

Исследователи планируют продолжить работу над улучшением устойчивости метода к постобработке и расширением набора тестовых данных. Внедрение Face-trace в реальные системы может существенно повысить эффективность борьбы с дипфейками. Однако для промышленного использования потребуется дополнительная валидация на разнообразных сценариях.

Что такое атрибуция синтетических изображений

Атрибуция синтетических изображений — это процесс определения модели или генератора, который создал данное изображение. Это важная задача в области судебной экспертизы мультимедиа, так как позволяет установить происхождение поддельного контента. Традиционные методы работают только с известными генераторами, но Face-trace расширяет эту возможность на неизвестные модели.

Заключение

Face-trace представляет собой значительный шаг вперёд в области атрибуции синтетических изображений. Возможность работать с неизвестными генераторами делает его особенно ценным в быстро меняющемся ландшафте генеративного ИИ. Несмотря на некоторые ограничения, метод демонстрирует высокую точность и чистоту кластеризации, что открывает путь к его практическому применению.