VPT: новый метод улучшения физической согласованности в видео, создаваемых ИИ

Исследователи разработали фреймворк VPT (Video Physical Consistency Tuning), который значительно улучшает физическую согласованность в видео, генерируемых диффузионными моделями. Этот метод позволяет создавать более реалистичные ролики, где объекты подчиняются законам физики, не жертвуя качеством изображения. VPT уже показал впечатляющие результаты на бенчмарках, и это может стать важным шагом для индустрии генерации видео.

Как VPT решает проблему физической несогласованности

Современные модели генерации видео, такие как Sora или Wan2.1, способны создавать удивительно реалистичные кадры, но часто допускают физические ошибки: объекты могут проходить сквозь друг друга, двигаться неестественно или внезапно исчезать. Это происходит потому, что диффузионные модели обучаются на огромных наборах данных, но не всегда улавливают причинно-следственные связи между движениями объектов. VPT предлагает элегантное решение, которое не требует полного переобучения модели — достаточно тонкой настройки.

Что такое ролевой сигнал и зачем он нужен?

Ключевая инновация VPT — введение ролевого сигнала, который разделяет все объекты в сцене на четыре категории: агенты (активно действующие объекты), управляемые объекты (те, на которые воздействуют агенты), пассивные объекты (неподвижные или движущиеся по инерции) и фон. Такая классификация позволяет модели учитывать различные физические роли и предсказывать их поведение более точно. Например, если человек толкает мяч, модель понимает, что человек — агент, а мяч — управляемый объект, и их траектории должны быть связаны.

Технические детали фреймворка

VPT состоит из трех ключевых компонентов, работающих вместе. Первый — это уже упомянутый ролевой сигнал, который подается на вход модели вместе с видеокадрами. Второй — раздельное шумоподавление для визуальных и вспомогательных каналов, таких как оптический поток или карты глубины. Это предотвращает конфликты между разными типами информации и улучшает согласованность. Третий компонент — механизм перекрестного автоуправления, который усиливает физическую динамику, заставляя модель обращать внимание на взаимодействия между объектами.

Какие результаты показал VPT на тестах?

Эксперименты проводились на базовой модели Wan2.1-T2V-1.3B. После применения VPT относительный прирост по метрике SA (Scene Adherence), оценивающей соответствие сцены, составил 39.4%, а по метрике PC (Physical Consistency) — 17.9% на бенчмарке VideoPhy. Улучшения также были подтверждены на расширенной версии VideoPhy-2. Эти цифры говорят о том, что VPT действительно помогает моделям лучше понимать физику, не снижая визуального качества.

Кому будет полезен VPT?

Разработчики моделей генерации видео получат инструмент для быстрого улучшения физической согласованности без дорогостоящего переобучения. Исследователи в области компьютерного зрения смогут использовать VPT для изучения того, как модели воспринимают физические взаимодействия. Компании из киноиндустрии, рекламы и видеоигр смогут создавать более реалистичный контент, который не будет отвлекать зрителя неестественным поведением объектов. Конечные пользователи, в свою очередь, получат видео, которые выглядят правдоподобно и следуют интуитивно понятным законам физики.

Какие ограничения остаются?

Несмотря на успехи, VPT пока не протестирован на других популярных моделях, таких как Sora или Gen-3. Неизвестно, насколько хорошо он масштабируется на более длинные видео — например, продолжительностью более минуты. Также не раскрыты детали вычислительных затрат при тонкой настройке, что важно для практического применения. Возможно, для некоторых моделей потребуется дополнительная адаптация ролевого сигнала.

Какие перспективы у VPT?

VPT открывает путь к созданию более реалистичного видеоконтента с помощью ИИ. В будущем исследователи могут расширить фреймворк для работы с трехмерными сценами или добавить поддержку сложных физических эффектов, таких как жидкости или ткани. Если VPT будет интегрирован в популярные модели, мы можем ожидать значительного улучшения качества генерируемых видео уже в ближайшие годы.