3D Gaussian Splatting: новый метод рендеринга сцен из 2D-снимков

Трёхмерная реконструкция сцен по фотографиям — одна из самых захватывающих областей компьютерного зрения. Недавно исследователи из INRIA и других институтов предложили метод 3D Gaussian Splatting (3DGS), который обещает перевернуть представления о скорости и качестве рендеринга. В отличие от традиционных нейросетевых подходов, этот алгоритм использует набор трёхмерных гауссиан для создания фотореалистичных изображений из произвольных ракурсов, опираясь всего на несколько входных снимков. Технология уже привлекла внимание Hugging Face, выпустившего вводную статью, и сообщества разработчиков VR/AR.

Что такое 3D Gaussian Splatting и как он работает

3D Gaussian Splatting представляет сцену не как непрерывное поле, а как облако из тысяч эллипсоидных гауссиан. Каждая такая гауссиана — это математический объект с набором параметров: положение в пространстве, ковариация (форма и ориентация), цвет, задаваемый сферическими гармониками, и непрозрачность. Процесс рендеринга начинается с проекции этих гауссиан на плоскость изображения. Затем они смешиваются с помощью альфа-композитинга — техники, учитывающей прозрачность каждого элемента. В результате получается итоговое изображение.

Обучение модели происходит путём оптимизации параметров гауссиан под входные фотографии. Алгоритм динамически разбивает крупные гауссианы на более мелкие для детализации или удаляет лишние, чтобы улучшить качество. Такой подход позволяет достичь высокой точности при минимальных вычислительных затратах. На стандартных наборах данных, таких как Mip-NeRF 360 и Tanks & Temples, 3DGS демонстрирует качество, сопоставимое с NeRF, но при этом обучение занимает минуты, а рендеринг — десятки миллисекунд на GPU.

Почему 3DGS быстрее и эффективнее NeRF

Ключевое преимущество 3D Gaussian Splatting — скорость. NeRF (Neural Radiance Fields) моделирует сцену как непрерывное поле плотности и цвета, что требует обучения глубокой нейронной сети и рендеринга каждого луча через множество точек. Это занимает часы для обучения и секунды для рендеринга одного кадра. 3DGS же использует дискретное представление, которое можно быстро оптимизировать и рендерить. Процесс обучения сводится к настройке параметров гауссиан, а рендеринг — к простому смешиванию проекций. В результате 3DGS обучается в десятки раз быстрее, а рендеринг происходит практически в реальном времени.

Ещё одно отличие — в способности работать с разреженными входными данными. NeRF требует десятков или сотен фотографий для качественной реконструкции, тогда как 3DGS может дать приемлемый результат уже с нескольких снимков. Это делает технологию особенно ценной для приложений, где сбор большого объёма данных затруднён.

Как 3D Gaussian Splatting изменит VR и AR

Для виртуальной и дополненной реальности скорость рендеринга критична. Пользователи ожидают плавной смены ракурсов без задержек. 3DGS позволяет рендерить сцену за миллисекунды, что делает его идеальным для интерактивных приложений. Разработчики могут быстро создавать трёхмерные модели реальных объектов или помещений, просто сделав несколько фотографий. Это снижает затраты на ручное моделирование и ускоряет создание контента.

В AR технология может использоваться для наложения виртуальных объектов на реальное окружение с учётом геометрии сцены. Например, приложение мебельного магазина сможет точно разместить диван в комнате пользователя, используя реконструкцию по снимкам с телефона. Бизнесу это сулит снижение расходов на 3D-контент и новые возможности для маркетинга.

Какие проблемы остаются нерешёнными

Несмотря на впечатляющие результаты, 3D Gaussian Splatting имеет ограничения. Во-первых, масштабирование на очень большие сцены (например, целые города) пока затруднено из-за роста числа гауссиан и требований к памяти. Во-вторых, метод плохо справляется с динамическими объектами — движущимися людьми или машинами. Гауссианы оптимизируются для статичной сцены, и любое движение приводит к артефактам. Также остаётся открытым вопрос об изменении освещения: если свет в сцене меняется, реконструкция может стать некорректной.

Исследователи активно работают над этими проблемами. Возможные решения включают использование временных гауссиан для динамики и адаптивных алгоритмов для освещения. Пока же 3DGS лучше всего подходит для статичных, хорошо освещённых сцен с ограниченным размером.

Кому стоит обратить внимание на 3DGS

В первую очередь — разработчикам VR/AR, компьютерного зрения и компьютерной графики. Технология даёт новый инструмент для быстрой реконструкции сцен, который может быть интегрирован в существующие пайплайны. Исследователи могут использовать 3DGS как базу для дальнейших улучшений — например, для работы с динамикой или масштабированием. Бизнесу, связанному с созданием 3D-контента, стоит присмотреться к методу как к способу сократить время и затраты.

Когда 3D Gaussian Splatting станет доступен широкой аудитории

Уже сейчас существуют открытые реализации 3DGS на GitHub, а Hugging Face выпустил вводную статью, что упрощает знакомство с технологией. Однако для массового использования требуется доработка: улучшение интерфейсов, оптимизация для мобильных устройств и решение проблем с динамикой. Ожидается, что в ближайшие год-два появятся коммерческие продукты на основе 3DGS, особенно в нишах VR/AR и 3D-сканирования.

Заключение

3D Gaussian Splatting — это значительный шаг вперёд в области синтеза новых видов. Сочетание высокой скорости обучения и рендеринга, качества, сравнимого с NeRF, и простоты реализации делает его перспективным инструментом. Пока технология не лишена недостатков, но её потенциал для VR/AR, компьютерного зрения и 3D-графики огромен. Следите за развитием — возможно, именно 3DGS станет стандартом де-факто для реконструкции сцен.