StatLUT: фотореалистичный перенос стиля с помощью 3D LUT на основе статистики

Исследователи представили новый метод фотореалистичного переноса стиля под названием StatLUT, который использует статистические признаки из цветового пространства Lab для создания чистых, без артефактов изображений. В отличие от традиционных подходов, StatLUT разделяет цвет и семантику, а также поддерживает управление стилем через текст с помощью легковесного Diffusion Transformer. Это открывает новые возможности для дизайнеров и фотографов, позволяя точно настраивать цветовую палитру без искажения содержания.

Как работает StatLUT Архитектура StatLUT состоит из трех ключевых компонентов. Первый — Lab-Extractor, который извлекает пространственно-независимые статистические признаки из цветового пространства Lab. Это позволяет отделить цветовое распределение от структурной семантики изображения. Второй компонент — MR-Mapper, многомерный резидуальный маппер на основе Transformer, который предсказывает гладкие трехмерные таблицы поиска (3D LUT). Эти таблицы затем применяются к исходному изображению для переноса стиля. Третий компонент — H-Diffuser, легковесный Diffusion Transformer, который синтезирует статистические признаки из текстовых подсказок, обеспечивая текстовое управление стилем.

Почему это важно для фотореалистичного переноса стиля Современные методы переноса стиля на основе глубокого обучения часто страдают от артефактов, таких как цветовые полосы, неестественные деформации и семантическое запутывание. Это происходит из-за использования предобученных кодировщиков изображений, которые смешивают цвет и семантику. StatLUT решает эту проблему, полностью разделяя цветовое распределение и структурную семантику. В результате получаются более чистые и фотореалистичные изображения без пространственных искажений. Кроме того, возможность управлять стилем с помощью текста делает метод удобным для практического применения.

Какие преимущества дает использование цветового пространства Lab Цветовое пространство Lab отделяет яркостную информацию от цветовой, что позволяет StatLUT извлекать статистические признаки, независимые от пространственной структуры. Это ключевое отличие от методов, работающих в RGB, где цвет и семантика тесно связаны. Благодаря этому StatLUT избегает семантического запутывания и обеспечивает более точный перенос цвета.

Экспериментальные результаты На стандартных бенчмарках StatLUT превзошел современные методы как по визуальному качеству, так и по количественным метрикам, включая PSNR, SSIM и LPIPS. Визуальные сравнения показывают, что StatLUT создает изображения с более естественными цветами и меньшим количеством артефактов. Особенно заметно преимущество в сложных сценах с мелкими деталями и текстурами.

Кого затронет новая технология Разработчики алгоритмов обработки изображений, дизайнеры, фотографы и исследователи в области компьютерного зрения и генеративных моделей — все они могут извлечь пользу из StatLUT. Метод может быть интегрирован в фоторедакторы и приложения для цветокоррекции, предоставляя пользователям интуитивно понятный инструмент для стилизации изображений с помощью текста.

Что пока остается неизвестным В препринте не раскрыты детали реализации H-Diffuser, такие как архитектура и процесс обучения. Также не указана производительность на сложных текстовых запросах. Кроме того, авторы не сообщили о лицензии и планах по открытию исходного кода, что ограничивает возможности воспроизведения и дальнейшего развития метода.