Утечка инструкций в моделях мира: как модели «жульничают» при понимании пространственных отношений

Исследователи выявили, что компактные модели мира, предназначенные для grounding пространственных отношений, могут не воспринимать сцену, а просто копировать ответ из инструкции. Эта проблема, названная утечкой инструкций, подрывает доверие к моделям, которые считаются способными к истинному пониманию. В недавней работе на arXiv авторы показали, что модель достигала точности 0,90 при чтении пространственных отношений, но на самом деле транскрибировала инструкцию, а не анализировала визуальные данные. При удалении цели из инструкции точность падала до 0,27, а при ложной инструкции модель следовала ей в 94,5% случаев, игнорируя истинную сцену. Это открытие ставит под вопрос надежность моделей мира в робототехнике и других приложениях, где требуется реальное понимание окружения.

Как именно была обнаружена утечка инструкций

Исследователи из arXiv провели серию экспериментов, чтобы проверить, действительно ли компактные модели мира понимают пространственные отношения или просто полагаются на подсказки в инструкции. Они использовали архитектуру, обученную предсказывать состояние мира на основе инструкции и текущего наблюдения. В стандартном сценарии модель демонстрировала высокую точность — 0,90 — при определении пространственных отношений, таких как «объект А находится слева от объекта Б». Однако авторы заподозрили, что модель может просто извлекать ответ из самой инструкции, а не из визуальной сцены.

Для проверки гипотезы они провели два ключевых теста. В первом тесте из инструкции удаляли цель — например, вместо «перемести синий куб в зеленую зону» оставляли только «перемести куб». Точность модели резко упала до 0,27, что указывает на то, что без явной подсказки в инструкции модель теряет способность определять отношения. Во втором тесте исследователи давали ложную инструкцию, которая противоречила визуальной сцене. Например, на сцене синий куб находился слева от красного шара, но инструкция утверждала обратное. В 94,5% случаев модель следовала инструкции, игнорируя реальное расположение объектов. Это доказывает, что модель не воспринимает сцену, а просто копирует ответ из инструкции.

Почему утечка инструкций опасна для робототехники и ИИ

Проблема утечки инструкций имеет серьезные последствия для областей, где требуется надежное понимание пространственных отношений, таких как робототехника, автономное вождение и взаимодействие человека с машиной. Если модель мира не способна отличить истинную сцену от ложной инструкции, это может привести к катастрофическим ошибкам. Например, робот, следующий инструкции «положи чашку слева от тарелки», может проигнорировать, что чашка уже находится справа, и выполнить неверное действие. В критических приложениях, таких как хирургические роботы или поисково-спасательные операции, такие ошибки недопустимы.

Кроме того, утечка подрывает доверие к результатам тестирования моделей. Если модель показывает высокую точность на стандартных бенчмарках, но на самом деле не понимает задачу, исследователи могут делать ложные выводы о прогрессе в области grounding языка. Это замедляет развитие действительно интеллектуальных систем, способных к обобщению и адаптации.

Как исследователи предлагают исправить проблему

Авторы работы предложили метод диагностики и исправления утечки инструкций. Диагностика включает два теста: тест с удалением цели из инструкции и тест с ложной инструкцией. Если точность модели значительно падает в этих тестах, это свидетельствует о наличии утечки. Для исправления предлагается два основных изменения в архитектуре модели.

Первое изменение: цель не должна влиять на динамику модели мира. В оригинальной архитектуре цель использовалась как часть входных данных для предсказания следующего состояния. Исследователи предложили исключить цель из динамики, оставив ее только для планировщика. Это предотвращает возможность модели «считывать» ответ из инструкции. Второе изменение: supervision (контроль) должен применяться к пути чтения, а не только к конечному результату. То есть модель должна учиться не просто предсказывать правильный ответ, но и демонстрировать, как она пришла к этому ответу, анализируя визуальные данные.

После внесения этих исправлений точность модели восстановилась до 0,88 как при наличии цели в инструкции, так и без нее. Это показывает, что проблема решаема, но требует внимания к деталям архитектуры.

Какие модели подвержены утечке инструкций

Хотя исследование было сосредоточено на одной конкретной архитектуре компактной модели мира, авторы предполагают, что проблема может быть широко распространена. Многие современные модели, особенно те, что используют трансформеры и механизмы внимания, могут непреднамеренно учиться полагаться на инструкции, а не на визуальные данные. Это особенно актуально для моделей, обученных на задачах, где инструкция и ответ сильно коррелируют.

В работе использовался бенчмарк BabyAI, который включает простые пространственные задачи в сеточном мире. Однако аналогичные проблемы могут возникать и в более сложных средах, таких как симуляторы роботов или 3D-сцены. Исследователи призывают сообщество к систематической проверке моделей на утечку инструкций, особенно перед развертыванием в реальных системах.

Что пока неизвестно о масштабе проблемы

Несмотря на важность открытия, остаются нерешенные вопросы. Во-первых, неясно, насколько проблема распространена среди других архитектур, таких как более крупные модели мира или модели, обученные на других наборах данных. Во-вторых, метод исправления, предложенный авторами, может не масштабироваться на более сложные сценарии с большим количеством объектов и отношений. Например, в задачах с частичной наблюдаемостью или динамическими средами исключение цели из динамики может быть недостаточным.

Кроме того, остается открытым вопрос о том, как автоматически обнаруживать утечку в моделях без ручного тестирования. Возможно, потребуются новые метрики или методы интерпретации, чтобы гарантировать, что модель действительно понимает пространственные отношения, а не просто повторяет инструкцию.

Как разработчикам защитить свои модели от утечки

Для разработчиков, работающих с моделями мира, есть несколько практических рекомендаций. Во-первых, всегда проводите тесты с удалением цели и ложными инструкциями, чтобы проверить, не полагается ли модель на подсказки. Во-вторых, следуйте предложенному исправлению: исключите цель из динамики модели и применяйте supervision к пути чтения. Это может потребовать изменений в архитектуре, но повысит надежность.

Также важно использовать разнообразные обучающие данные, где инструкции и сцены не всегда коррелируют. Например, можно генерировать примеры, где инструкция не соответствует сцене, чтобы модель училась игнорировать ложные подсказки. Наконец, регулярно пересматривайте метрики оценки: высокая точность на стандартных тестах не гарантирует истинного понимания.

Утечка инструкций — это серьезный вызов для развития моделей мира, но он решаем. Осознание проблемы и применение предложенных исправлений помогут создать более надежные и интеллектуальные системы, способные к реальному grounding пространственных отношений.