SPEAR: симулятор для фотореалистичных исследований воплощённого ИИ с рекордной производительностью

SPEAR (A Simulator for Photorealistic Embodied AI Research) — это новый симулятор, созданный для исследований в области воплощённого искусственного интеллекта. Он представляет собой Python-библиотеку, которая подключается к любому приложению на Unreal Engine (UE) и управляет им через модульную архитектуру плагинов. Разработчики опубликовали препринт на arXiv, где подробно описали возможности SPEAR. Этот инструмент призван решить ключевые проблемы существующих фотореалистичных симуляторов: ограниченную функциональность, низкую программируемость и недостаточную скорость рендеринга.

Почему SPEAR превосходит существующие симуляторы

Существующие фотореалистичные симуляторы для обучения воплощённых агентов, такие как Habitat или AI2-THOR, имеют ряд ограничений. Они предоставляют доступ лишь к небольшому набору функций Unreal Engine, что затрудняет тонкую настройку среды и моделирование сложных сценариев. Кроме того, скорость рендеринга часто недостаточна для обучения в реальном времени. SPEAR устраняет эти недостатки, предлагая на порядок больше программируемых функций и значительно более высокую производительность.

Какие функции Unreal Engine доступны через SPEAR?

SPEAR предоставляет доступ к более чем 14 тысячам уникальных функций UE через Python — это на порядок больше, чем у существующих симуляторов на базе Unreal Engine. Исследователи могут программно управлять практически любым аспектом виртуальной среды: от расположения объектов и источников света до физических свойств материалов и анимации. Такая глубокая интеграция позволяет создавать чрезвычайно реалистичные и разнообразные сценарии для обучения агентов.

Производительность и уникальные возможности

Один экземпляр SPEAR способен рендерить фотореалистичные изображения разрешением 1920×1080 непосредственно в массив NumPy со скоростью 73 кадра в секунду. Это на порядок быстрее существующих плагинов, что позволяет проводить обучение в реальном времени без потери качества. Кроме того, SPEAR генерирует модальности изображений, недоступные в других симуляторах: недиффузное разложение внутренних изображений, идентификаторы материалов и параметры затенения на основе физических свойств. Эти данные критически важны для задач, требующих понимания физики сцены, таких как оценка освещения или материалов.

Как SPEAR улучшает обучение воплощённых агентов?

Благодаря высокоуровневой модели программирования, SPEAR позволяет описывать сложные графы задач с произвольными зависимостями данных и выполнять их детерминированно в рамках одного кадра UE. Это означает, что исследователи могут создавать многошаговые сценарии, где действия агента влияют на последующие состояния среды, и при этом гарантировать воспроизводимость результатов. Такая возможность особенно важна для обучения с подкреплением, где стабильность и повторяемость экспериментов имеют решающее значение.

Кому будет полезен SPEAR?

SPEAR предназначен для исследователей в области воплощённого ИИ, робототехники, компьютерного зрения и синтеза визуальных данных. Он поддерживает управление несколькими агентами (людьми, автомобилями, роботами) в различных средах, визуализацию городских сцен, манипуляции процедурной генерацией контента, синхронизацию многовидовых изображений лиц, координацию совместной симуляции с MuJoCo и редактирование сцен с помощью ИИ-ассистента на естественном языке. Это делает SPEAR универсальным инструментом для широкого круга задач.

Какие сценарии использования поддерживает SPEAR?

SPEAR может быть использован для обучения роботов навигации в сложных городских условиях, тренировки автономных автомобилей, генерации синтетических данных для компьютерного зрения, а также для создания виртуальных сред для тестирования алгоритмов взаимодействия человека и машины. Возможность редактирования сцен на естественном языке упрощает настройку экспериментов без необходимости программирования.

Что пока неизвестно о SPEAR?

На данный момент дата выхода открытой версии SPEAR, лицензия и системные требования не объявлены. Также неясно, будет ли поддерживаться полный набор функций Unreal Engine 5. Разработчики обещают предоставить дополнительную информацию в ближайшее время. Однако уже сейчас очевидно, что SPEAR может стать важным инструментом для исследований в области воплощённого ИИ, предлагая уникальное сочетание производительности, функциональности и гибкости.