Галлюцинации ИИ и рассеянное внимание: ученые нашли связь и предложили метод AFIP

Ученые обнаружили, что галлюцинации в мультимодальных больших языковых моделях (MLLM) возникают из-за эффекта, напоминающего рассеянное внимание у человека. Это открытие позволило разработать метод Attention-Focused Approach for Improved Image Perception (AFIP), который снижает количество ошибок без дополнительного обучения. Исследование опубликовано на arXiv и открывает новые пути для создания более надежных систем искусственного интеллекта.

Что такое галлюцинации в мультимодальных моделях

Мультимодальные большие языковые модели, такие как GPT-4V или Gemini, способны одновременно обрабатывать текст и изображения. Однако они часто «галлюцинируют» — то есть описывают объекты, которых нет на картинке, или неправильно интерпретируют визуальные детали. Например, модель может утверждать, что на фотографии есть зонт, хотя на самом деле его нет. Эта проблема серьезно ограничивает применение MLLM в медицине, автономном вождении и других критических областях, где точность важнее всего.

Как рассеянное внимание человека связано с галлюцинациями ИИ

Исследователи изучили внутренние механизмы работы MLLM и обнаружили, что галлюцинации коррелируют с двумя ключевыми факторами. Во-первых, это пространственная несогласованность в multi-head attention — когда разные «головы» внимания модели фокусируются на разных участках изображения, теряя целостность восприятия. Во-вторых, это затухание внимания к токенам изображения во время декодирования: модель постепенно «забывает» визуальную информацию, полагаясь только на текст. Этот процесс напоминает рассеянное внимание у человека, когда мы смотрим на картинку, но не замечаем важных деталей.

Почему это открытие важно для развития ИИ

Понимание механизма галлюцинаций как аналога человеческого невнимания дает исследователям новый инструмент для борьбы с ошибками. Вместо того чтобы переобучать модели на огромных наборах данных, можно скорректировать сам процесс внимания. Предложенный метод AFIP не требует дополнительного обучения, что делает его особенно ценным для практического применения. Разработчики могут внедрить его в существующие системы без значительных затрат времени и ресурсов.

Как работает метод AFIP

AFIP состоит из двух основных компонентов. Первый — обогащение кросс-головочного внимания (cross-head attention enrichment), которое синхронизирует фокус разных голов внимания, чтобы они «смотрели» на одни и те же области изображения. Второй — усиление визуальной привязки через динамическое усиление исторического внимания (dynamic historical attention enhancement), которое предотвращает затухание внимания к визуальным токенам на поздних этапах генерации. Эксперименты на нескольких бенчмарках и моделях показали, что AFIP значительно снижает частоту галлюцинаций, при этом не ухудшая другие метрики качества.

Какие результаты показали эксперименты

Ученые протестировали AFIP на популярных моделях, включая LLaVA и MiniGPT-4, используя стандартные наборы данных для оценки галлюцинаций, такие как POPE и MMHal-Bench. Результаты показали снижение количества ложных описаний объектов на 15-25% в зависимости от модели и сценария. При этом точность распознавания реальных объектов осталась на прежнем уровне. Важно, что метод работает без дополнительного обучения — достаточно заменить стандартный механизм внимания на модифицированную версию.

Кого затронет это исследование

Разработчики мультимодальных AI-систем получат готовый инструмент для повышения надежности своих продуктов. Исследователи в области компьютерного зрения и обработки естественного языка смогут использовать эти идеи для дальнейшего изучения внимания в нейросетях. Компании, внедряющие MLLM в чат-боты, системы анализа изображений или медицинскую диагностику, смогут быстрее выводить на рынок более точные решения. Кроме того, открытие подчеркивает ценность междисциплинарного подхода, где когнитивная психология помогает улучшать искусственный интеллект.

Что пока остается неизвестным

Несмотря на успешные эксперименты, у метода есть ограничения. Исследователи не уточнили, насколько AFIP эффективен для редких объектов или сложных сцен с большим количеством деталей. Также не изучено, как модификация внимания влияет на скорость инференса — возможно, дополнительные вычисления замедлят работу модели. Кроме того, остается открытым вопрос о совместимости AFIP с другими методами борьбы с галлюцинациями, такими как постобработка или ансамблирование.

Перспективы развития

Открытие связи между галлюцинациями ИИ и человеческим рассеянным вниманием открывает новое направление в исследованиях. В будущем ученые планируют изучить, можно ли применить аналогичные принципы к другим типам ошибок, например, к логическим противоречиям в текстовых ответах. Также возможно создание гибридных систем, которые комбинируют AFIP с обучением на обратной связи от человека. Пока код метода доступен на GitHub, что позволяет любому разработчику протестировать его на своих данных.

Заключение

Исследование показало, что галлюцинации мультимодальных моделей — не случайные ошибки, а закономерный результат особенностей их архитектуры внимания. Предложенный метод AFIP предлагает простое и эффективное решение, которое может быть внедрено уже сегодня. Это важный шаг к созданию надежных и безопасных систем искусственного интеллекта, способных работать в реальных условиях.