Новый метод LESV превосходит 3D Gaussian Splatting в понимании 3D-сцен с открытым словарем

Группа исследователей представила метод LESV (Language Embedded Sparse Voxel Fusion), который значительно улучшает понимание 3D-сцен с открытым словарем. Вместо популярного подхода 3D Gaussian Splatting (3DGS) авторы используют разреженную воксельную растеризацию (SVRaster) как структурированное и непересекающееся геометрическое представление. Это позволяет избежать пространственной неоднозначности и семантического размытия, характерных для 3DGS, и достичь современного уровня производительности на задачах поиска и сегментации объектов по текстовым запросам.

Почему 3D Gaussian Splatting не справляется с семантикой

Существующие методы на основе 3DGS страдают от двух ключевых проблем. Во-первых, перекрывающиеся гауссианы создают пространственную неоднозначность — одна точка пространства может быть представлена несколькими элементами, что затрудняет точную регистрацию признаков. Во-вторых, при объединении признаков по маскам объектов возникает многократная семантическая неоднозначность: один и тот же фрагмент сцены может быть отнесен к разным классам. LESV решает эти проблемы, обеспечивая детерминированную регистрацию признаков с учетом уверенности и подавляя артефакт семантического размытия.

Как работает LESV: от геометрии до семантики

Метод LESV состоит из нескольких ключевых компонентов. Основой служит SVRaster — структурированное представление сцены в виде разреженных вокселей, которые не пересекаются и обеспечивают однозначное соответствие между точкой пространства и признаком. Для стабильной геометрии применяется регуляризация SVRaster с помощью монокулярной глубины и нормальных приоритетов. Затем выполняется детерминированная регистрация признаков с учетом уверенности: каждый воксель получает семантический вектор на основе взвешенного голосования, где вес определяется уверенностью модели. Для разрешения многократной семантической неоднозначности без дополнительных вычислительных затрат используется модель AM-RADIO, которая эффективно объединяет признаки из разных источников.

Какие результаты показывает LESV

Эксперименты демонстрируют, что LESV достигает современного уровня производительности на задачах понимания облаков точек с открытым словарем. В бенчмарках поиска 3D и 2D объектов метод показывает высокие результаты, превосходя 3DGS по точности сегментации и стабильности признаков. В частности, LESV лучше справляется со сценами, где объекты имеют сложную геометрию или частично перекрываются. Авторы отмечают, что метод особенно эффективен в задачах, требующих интерпретации 3D-окружения на естественном языке, таких как робототехника и дополненная реальность.

Какие практические применения открывает LESV?

Разработчики систем компьютерного зрения, исследователи в области 3D-понимания сцен, а также инженеры, работающие над робототехникой и дополненной реальностью, получат выгоду от LESV. Метод позволяет более точно и надежно интерпретировать 3D-окружение по текстовым запросам, что критически важно для автономных систем, взаимодействующих с людьми. Например, робот, использующий LESV, сможет найти "красную кружку на столе" или "синий стул слева от двери" с меньшей ошибкой, чем при использовании 3DGS.

Ограничения и нерешенные вопросы

В препринте не сообщается о времени публикации кода или датасетов для воспроизведения результатов. Также не указаны ограничения метода в условиях зашумленных или неполных данных. Исследователям предстоит выяснить, как LESV ведет себя при сильном шуме в облаке точек или при отсутствии части сцены. Кроме того, остается открытым вопрос о масштабируемости метода на очень большие сцены, где разреженные воксели могут требовать значительных вычислительных ресурсов.

Заключение

LESV предлагает убедительную альтернативу 3D Gaussian Splatting для задач открытого понимания 3D-сцен. Благодаря детерминированной регистрации признаков и подавлению семантического размытия метод достигает высокой точности и стабильности. Если код будет открыт, LESV может стать новым стандартом в области 3D-семантики, особенно для приложений, требующих интерпретации на естественном языке.