Иерархическая LLM-система с замкнутым контуром для надежного управления несколькими роботами

Исследователи разработали новую иерархическую систему на основе больших языковых моделей (LLM) с замкнутым контуром, которая позволяет нескольким роботам надежно выполнять сложные задачи манипуляции. В отличие от предыдущих подходов, эта система объединяет высокоуровневое планирование, физическое выполнение и верификацию в единый цикл, что повышает устойчивость к неопределенностям реального мира. В основе фреймворка лежат три специализированных агента: Planning Agent, Manipulation Agent и Verification Agent, которые работают совместно для достижения целей.

Как устроена система

Система состоит из трех ключевых компонентов, каждый из которых отвечает за свою часть процесса. Planning Agent берет на себя разбиение общей инструкции на подзадачи и распределение их между доступными роботами. Manipulation Agent для каждого робота выполняет конкретные действия с адаптивным использованием инструментов, учитывая текущее состояние рабочего пространства. Verification Agent замыкает контур, отслеживая физические результаты выполнения и передавая семантические коррекции обратно в Planning Agent для корректировки плана. Такая архитектура позволяет системе адаптироваться как к одному, так и к нескольким рабочим пространствам, а также обобщаться на различные задачи манипуляции.

Почему замкнутый контур важен для мультироботизированных систем?

В традиционных мультироботизированных фреймворках высокоуровневое планирование часто игнорирует неопределенности реального выполнения, такие как ошибки захвата, смещения объектов или сбои инструментов. Это приводит к необходимости ручного вмешательства или перепланирования. Замкнутый контур решает эту проблему: Verification Agent непрерывно сравнивает фактическое состояние с ожидаемым и при обнаружении расхождений инициирует коррекцию на семантическом уровне. Например, если робот не смог захватить деталь, агент не просто повторяет то же движение, а пересматривает план, возможно, выбирая другой инструмент или изменяя последовательность действий. Такой подход значительно повышает надежность выполнения задач в реальных условиях.

Преимущества перед существующими подходами

Существующие LLM-подходы к управлению роботами можно разделить на две категории. Методы для одного робота обеспечивают высокую надежность манипуляции, но не масштабируются на несколько рабочих пространств. Мультироботизированные фреймворки, напротив, фокусируются на координации и планировании, но игнорируют физические неопределенности. Новая система объединяет сильные стороны обоих подходов: она использует LLM для гибкого планирования и одновременно включает механизмы обратной связи для коррекции выполнения. В экспериментах в реальном мире система продемонстрировала высокий процент успешного выполнения задач, адаптируясь к различным сценариям, включая сборку, сортировку и перемещение объектов.

Какие задачи может решать эта система?

Система была протестирована на нескольких типичных задачах мультироботизированной манипуляции, таких как совместная сборка деталей, сортировка объектов по контейнерам и перемещение грузов между рабочими станциями. В каждом случае роботы работали согласованно, а Verification Agent обеспечивал своевременное обнаружение и исправление ошибок. Например, при сборке, если один робот не смог правильно установить деталь, система перепланировала действия для другого робота, чтобы скорректировать положение. Такая гибкость делает фреймворк перспективным для промышленной автоматизации, где требуется надежное выполнение операций в условиях неопределенности.

Ограничения и дальнейшие исследования

В препринте не раскрыты точные показатели успешности и сравнение с базовыми методами, что затрудняет объективную оценку. Также не указаны детали используемой LLM и конкретные сценарии, где система может давать сбои. Тем не менее, авторы планируют расширить эксперименты и опубликовать более подробные результаты. Дальнейшие исследования могут быть направлены на улучшение масштабируемости системы для большего числа роботов и более сложных задач, а также на интеграцию с другими сенсорными модальностями, такими как тактильная обратная связь.

Кого затронет эта разработка

Новая система представляет интерес для разработчиков робототехнических систем, исследователей в области LLM и управления роботами, а также инженеров, работающих над автоматизацией производственных и логистических процессов. Она может быть применена в сборочных линиях, складских операциях и других сценариях, где требуется координация нескольких роботов и высокая надежность выполнения.