WanderDream: как новый датасет учит ИИ мысленно исследовать пространство и отвечать на вопросы «что, если?»

Представьте, что робот или приложение для слабовидящих могут мысленно «пройти» по незнакомому помещению, не сделав ни шага, и ответить на вопросы вроде «что будет, если я поверну налево у стола?». Именно эту способность — ментальное моделирование пространственных сценариев — призван развить новый датасет WanderDream. Он впервые предоставляет крупномасштабную базу для обучения и оценки моделей, которые симулируют траектории в трёхмерных пространствах и отвечают на пространственные вопросы «что, если?». Это открывает путь к более безопасным роботам, эффективным ассистивным технологиям и системам situated reasoning — рассуждениям, учитывающим контекст окружения.

Что такое WanderDream и как он устроен

WanderDream — это не один датасет, а два взаимосвязанных набора данных. Первый, WanderDream-Gen, содержит 15,8 тысяч панорамных видео, охватывающих 1088 реальных трёхмерных сцен. Эти сцены взяты из известных источников HM3D, ScanNet++, а также из собственных записей авторов. Каждое видео изображает воображаемую траекторию от текущего положения до целевой ситуации. Второй набор, WanderDream-QA, включает 158 тысяч пар вопрос-ответ, которые охватывают начальные состояния, пути и конечные состояния вдоль каждой траектории. Вопросы сформулированы так, чтобы проверить, насколько модель понимает пространственные отношения и последствия перемещений.

Создатели датасета исходили из того, что во многих реальных сценариях — например, для роботов с ограниченной мобильностью или для помощи слабовидящим пользователям — активное физическое исследование окружения невозможно. Способность мысленно «проигрывать» траектории и отвечать на пространственные вопросы без перемещения критически важна для situated reasoning. До сих пор не существовало крупномасштабного датасета, специально созданного для такой задачи. WanderDream заполняет этот пробел, предлагая стандартизированную платформу для обучения и бенчмаркинга.

Почему ментальное моделирование пространства так важно

В робототехнике и компьютерном зрении долгое время доминировал подход «учись на реальных данных». Однако для задач, где физическое взаимодействие дорого или опасно, ментальное моделирование становится незаменимым. Представьте робота-помощника, который должен оценить, сможет ли он проехать через узкий проход, не задев хрупкие предметы. Вместо того чтобы рисковать, он может мысленно просимулировать несколько траекторий и выбрать безопасную. Для слабовидящих пользователей приложение могло бы мысленно исследовать комнату и предупредить о препятствиях, не требуя от человека перемещения.

Эксперименты с world models и мультимодальными большими языковыми моделями (MLLM) показали несколько важных результатов. Во-первых, ментальное исследование необходимо для situated reasoning: модели, которые не умеют мысленно «гулять», значительно хуже отвечают на пространственные вопросы. Во-вторых, world models достигают убедительных результатов на WanderDream-Gen, что подтверждает пригодность датасета для обучения генеративных моделей. В-третьих, воображение существенно улучшает качество ответов на WanderDream-QA: модели, которые сначала генерируют ментальную траекторию, а затем отвечают на вопрос, работают точнее. В-четвёртых, данные WanderDream демонстрируют высокую переносимость на реальные сценарии, что говорит о практической ценности подхода.

Как именно устроены вопросы в WanderDream-QA

Каждый вопрос в WanderDream-QA относится к одному из трёх типов: о начальной точке, о маршруте или о конечной точке. Например, вопрос может звучать так: «Если я нахожусь у двери и пройду прямо до стола, какой предмет окажется справа от меня?» Чтобы ответить, модель должна мысленно пройти по траектории, запомнить начальное положение, учесть повороты и расстояния, а затем выдать ответ. Такие задачи требуют не просто распознавания объектов, а целостного понимания пространственной структуры сцены.

Важно, что WanderDream-QA не ограничивается простыми вопросами. Часть из них проверяет способность модели к обобщению: например, вопросы, где целевая ситуация не совпадает с концом траектории, а требует дополнительных рассуждений. Это приближает задачу к реальным сценариям, где пользователь может спросить: «Что будет, если я поверну направо после второго стула?» — и модель должна мысленно продолжить путь.

Какие модели уже протестированы на WanderDream

Авторы провели эксперименты с несколькими типами моделей. Среди них — world models, которые генерируют видеоряды будущих состояний, и мультимодальные большие языковые модели (MLLM), такие как GPT-4V и LLaVA. Результаты показали, что world models лучше справляются с генерацией траекторий, но MLLM демонстрируют более высокое качество ответов на вопросы, особенно если им предоставить сгенерированное видео в качестве подсказки. Интересно, что комбинация двух подходов — сначала world model генерирует ментальное видео, затем MLLM анализирует его — даёт наилучшие результаты. Это говорит о том, что situated reasoning выигрывает от разделения труда: генерация и понимание могут быть реализованы разными модулями.

Кому и зачем нужен WanderDream

Разработчикам систем компьютерного зрения WanderDream предоставляет новый бенчмарк для оценки способности моделей к пространственному рассуждению. В робототехнике датасет может стать основой для обучения систем планирования, которые не требуют физического пробования. Для ассистивных технологий, особенно для людей с ограничениями по зрению, WanderDream открывает путь к приложениям, которые могут мысленно исследовать окружение и давать рекомендации без необходимости реального перемещения. Наконец, исследователям world models и situated reasoning датасет даёт стандартизированную платформу для сравнения методов.

Какие ограничения есть у датасета

Несмотря на впечатляющий масштаб, у WanderDream есть несколько ограничений. Во-первых, все сцены статичны: в них нет движущихся объектов, людей или изменяющегося освещения. В реальном мире динамика — обычное дело, и пока неизвестно, насколько хорошо модели, обученные на статичных данных, справятся с динамическими сценариями. Во-вторых, данные получены из симуляторов и собственных записей, что создаёт разрыв с реальными условиями: шум сенсоров, неточности локализации и другие факторы могут снизить переносимость. Авторы отмечают, что WanderDream демонстрирует высокую переносимость на реальные сценарии, но количественная оценка этого разрыва пока не проведена.

Какие перспективы открывает WanderDream

WanderDream — это первый шаг к созданию моделей, которые могут мысленно исследовать пространство так же естественно, как люди. В будущем датасет может быть расширен за счёт динамических сцен, звуковой информации или тактильных данных. Кроме того, методика создания пар «вопрос-ответ» может быть адаптирована для других доменов, например, для навигации в зданиях или планирования маршрутов. В конечном счёте, WanderDream приближает нас к созданию ИИ, который понимает не только то, что видит, но и то, что могло бы быть.

Как WanderDream может помочь в обучении роботов безопасному поведению

Один из ключевых вызовов робототехники — обучение безопасному поведению в незнакомой среде. Обычно роботы учатся на собственном опыте, что может приводить к авариям. Ментальное моделирование позволяет роботу «проиграть» тысячи сценариев в голове, прежде чем сделать реальное движение. WanderDream предоставляет для этого необходимые данные: траектории, вопросы и ответы. Робот может обучиться предсказывать последствия своих действий, не рискуя. Например, если робот видит на пути хрупкую вазу, он может мысленно проверить несколько обходных путей и выбрать тот, где вероятность столкновения минимальна. Такой подход особенно важен для домашних роботов-помощников, которые работают в окружении людей.

Заключение

WanderDream — это не просто датасет, а концептуальный сдвиг в подходе к пространственному ИИ. Вместо того чтобы требовать от моделей только реакции на текущее состояние, он учит их воображать альтернативные реальности. Это приближает нас к созданию систем, которые могут рассуждать о пространстве так же гибко, как люди. Остаётся дождаться дальнейших исследований, которые покажут, насколько хорошо эти навыки переносятся в реальный мир с его шумом и динамикой.