RoboDojo: единый бенчмарк для оценки роботов-манипуляторов в симуляции и реальном мире

Исследователи представили RoboDojo — унифицированный бенчмарк для оценки обобщённых политик управления роботами-манипуляторами, который включает как симуляционные, так и реальные задачи. Эта платформа призвана решить давнюю проблему в робототехнике: отсутствие стандартизированного способа сравнения алгоритмов в условиях, максимально приближенных к реальным. RoboDojo поддерживает 42 симуляционных и 18 реальных задач, охватывающих различные аспекты манипуляции, от точного захвата до длительных последовательностей действий.

Почему RoboDojo необходим для развития робототехники

Существующие бенчмарки часто ограничены простыми задачами с коротким горизонтом или узким набором навыков, а также проводятся либо только в симуляции, либо только в реальном мире. Это приводит к тому, что политики, показывающие отличные результаты в симуляции, проваливаются в реальных условиях из-за разрыва между виртуальной и физической средой. RoboDojo решает эту проблему, предоставляя единую среду для оценки в обоих контекстах, что позволяет более полно оценить способности политик и сократить время на перенос алгоритмов из лаборатории в производство.

Как устроен симуляционный бенчмарк RoboDojo

Симуляционный бенчмарк оценивает пять ключевых измерений: обобщение, память, точность, выполнение длинных последовательностей действий и следование инструкциям с открытым словарём. Обобщение проверяет, насколько политика справляется с новыми объектами или сценариями, не встречавшимися во время обучения. Память важна для задач, где требуется учитывать предыдущие шаги. Точность критична для операций вроде сборки или вставки. Длинные последовательности действий моделируют реальные производственные процессы, а следование инструкциям с открытым словарём позволяет оценить способность понимать естественный язык.

Реальный бенчмарк: испытание физическим миром

Реальный бенчмарк подвергает политики сложным условиям физического мира: изменчивое освещение, трение, неточности калибровки и другие факторы, которые невозможно полностью смоделировать. RoboDojo поддерживает масштабируемую оценку через гетерогенную параллельную симуляцию в Isaac Sim, что позволяет одновременно тестировать множество политик. Кроме того, предоставляется RoboDojo-RealEval — воспроизводимая система оценки с удалённым облачным доступом, стандартизированным оборудованием, автоматическим сбросом сцены, чётким протоколом оценки и удобным интерфейсом развёртывания.

Интеграция с XPolicyLab и публичная таблица лидеров

Вместе с XPolicyLab политики интегрируются один раз и оцениваются и в симуляции, и в реальном мире с минимальной адаптацией. Это означает, что разработчику не нужно писать отдельный код для каждого окружения. В рамках работы 30 политик были интегрированы в XPolicyLab и оценены на RoboDojo, а результаты опубликованы в публичной таблице лидеров. Это позволяет сообществу сравнивать свои алгоритмы с лучшими практиками и отслеживать прогресс.

Кого затронет появление RoboDojo

Разработчиков робототехнических алгоритмов, исследователей в области обобщённых политик манипуляции, а также компании, занимающиеся внедрением роботов в реальные производственные процессы. Для академических групп RoboDojo станет стандартом для публикации результатов, а для индустрии — инструментом отбора наиболее надёжных решений для конкретных задач.

Что пока остаётся неизвестным

Конкретные результаты сравнения политик на лидерборде пока не раскрыты в аннотации, что оставляет интригу для будущих публикаций. Также не указаны точные временные затраты на оценку в реальном мире — важный показатель для практического применения. Однако уже ясно, что RoboDojo задаёт новый стандарт для оценки роботов-манипуляторов, объединяя виртуальную и физическую реальность.