WildCity: мультимодальный датасет для городского ИИ масштаба десятков километров

Группа исследователей представила WildCity — мультимодальный датасет, предназначенный для задач рендеринга, симуляции и пространственного интеллекта на уровне целого города. Это первый открытый набор данных такого масштаба, который позволяет ИИ-моделям учиться формировать связную пространственную карту территорий в десятки квадратных километров. Сбор данных проводился с помощью автономных транспортных средств, проехавших 18 маршрутов общей протяжённостью более 1500 километров. Средняя длина одного трека составила 83,7 километра, что значительно превышает возможности существующих датасетов, ограниченных отдельными зданиями или небольшими районами.

Почему WildCity важен для развития городского ИИ

Современные модели искусственного интеллекта отлично справляются с анализом отдельных сцен или зданий, но терпят неудачу, когда требуется построить целостную пространственную карту территории масштабом в десятки квадратных километров. Человек делает это естественно, а для ИИ такая задача остаётся нерешенной. WildCity призван заполнить этот пробел, предоставляя данные, необходимые для обучения моделей пространственного интеллекта, способных работать на городском уровне. Это критически важно для создания цифровых двойников городов, которые могут использоваться для симуляции транспортных потоков, планирования инфраструктуры и тестирования автономных систем.

Какие реальные условия включает датасет?

WildCity содержит не просто статичные изображения, а полноценные мультимодальные записи, отражающие реальную городскую среду. В датасет вошли динамические объекты — пешеходы, велосипедисты, автомобили, — а также изменения освещения в течение дня и несовершенные позиции камер, характерные для реальных поездок. Это позволяет моделям обучаться на данных, максимально приближенных к условиям эксплуатации. Исследователи также разработали базовый метод реконструкции, адаптированный для городских масштабов, и превратили восстановленную среду в замкнутый симулятор. Такой симулятор можно использовать для тестирования алгоритмов без риска для реального транспорта.

Три ключевых вызова, которые решает WildCity

В работе над датасетом авторы выделили три основных препятствия, с которыми сталкиваются современные системы пространственного ИИ. Первый — масштабируемость: существующие методы реконструкции плохо работают на больших территориях из-за ограничений по памяти и вычислительным ресурсам. WildCity предоставляет данные, позволяющие разрабатывать и тестировать более эффективные алгоритмы. Второй вызов — экстраполяция: модели должны уметь предсказывать структуру невидимых участков города на основе ограниченных наблюдений. Третий — неопределённость: в реальных условиях данные всегда зашумлены, и ИИ должен уметь оценивать степень своей уверенности в реконструкции. WildCity включает метаданные, помогающие изучать эти аспекты.

Кому будет полезен новый датасет

WildCity ориентирован на широкий круг специалистов. В первую очередь это разработчики систем автономного вождения, которым необходимы данные для обучения моделей восприятия и планирования в масштабах города. Также датасет будет востребован исследователями в области компьютерного зрения и робототехники, работающими над задачами пространственного интеллекта. Компании, создающие цифровые двойники городов для симуляции и анализа, смогут использовать WildCity как эталонный набор данных для валидации своих решений. Наконец, академические группы, изучающие генеративные модели и нейронный рендеринг, получат новый бенчмарк для сравнения алгоритмов.

Что остаётся неизвестным

Несмотря на подробное описание, некоторые детали пока не раскрыты. В частности, не объявлена лицензия, под которой распространяется датасет, что может повлиять на его коммерческое использование. Также отсутствуют конкретные метрики качества реконструкции, достигнутые базовым методом, и планы по расширению датасета на другие города. На данный момент WildCity доступен по ссылке на проект, где можно скачать данные и ознакомиться с дополнительными материалами. Ожидается, что в ближайшее время авторы опубликуют более подробную спецификацию и результаты экспериментов.