Новый бенчмарк Blind-Spots-Bench: тест на «слепые зоны» мультимодального AI

Группа исследователей представила новый бенчмарк Blind-Spots-Bench, который выявляет задачи, легко решаемые людьми, но ставящие в тупик современные мультимодальные AI-модели. Этот диагностический инструмент призван заполнить пробел в оценке реальных ограничений систем искусственного интеллекта, показывая, что даже самые продвинутые модели имеют «слепые зоны» — области, где они систематически ошибаются. Разработка такого бенчмарка особенно актуальна на фоне быстрого прогресса в области мультимодального AI, когда стандартные тесты уже не отражают истинную картину возможностей моделей.

Как работает Blind-Spots-Bench

Blind-Spots-Bench включает 235 примеров, отобранных из вопросов студентов курса по искусственному интеллекту. Каждый пример представляет собой задачу, которая для человека кажется тривиальной, но вызывает затруднения у AI. Например, манипуляция верёвкой или рисование собаки с пятью ногами. Все примеры очищены и снабжены структурированными эталонными решениями, что позволяет проводить автоматическую оценку.

Исследователи разработали таксономию задач, классифицирующую «слепые зоны» по типам. Для тестирования создан пайплайн, который проверяет модели разных категорий: с открытым весом, закрытые языковые, vision-language и генераторы изображений. Это позволяет сравнить, как разные архитектуры справляются с нетривиальными заданиями.

Какие модели показали лучшие результаты?

Анализ показал, что закрытые frontier-модели, такие как GPT-4 и Claude, в среднем превосходят открытые на 10%. Однако на существующих стандартных бенчмарках их результаты были сопоставимы. Это говорит о том, что Blind-Spots-Bench выявляет скрытые различия в производительности, которые не видны при обычном тестировании. При этом ни одна модель не показала превосходства во всех категориях задач, а некоторые задачи остались нерешёнными для всех протестированных систем.

Почему это важно для развития AI?

Существующие бенчмарки, такие как MMLU или BIG-bench, демонстрируют высокие результаты современных моделей, но не отражают их реальные ограничения. Blind-Spots-Bench заполняет этот пробел, выступая в роли стресс-теста, который выявляет конкретные слабости. Это стимулирует разработчиков создавать более надёжные и устойчивые системы, способные справляться с задачами, требующими нестандартного мышления.

Для исследователей и инженеров этот бенчмарк становится важным инструментом диагностики. Он помогает понять, в каких областях AI ещё далёк от человеческого уровня, и направить усилия на устранение этих пробелов. Компании, внедряющие мультимодальные AI-системы в реальные приложения, также выиграют от более точной оценки рисков и ограничений.

Какие задачи остаются нерешёнными?

Некоторые задачи из бенчмарка не смогла решить ни одна модель. Это указывает на фундаментальные ограничения современных подходов. Например, задачи, требующие понимания физики объекта (как завязать узел) или генерации изображений с нарушением привычных шаблонов (собака с пятью ногами), пока остаются вызовом. Это подчёркивает необходимость разработки новых архитектур и методов обучения.

Кого затронет новый бенчмарк?

Blind-Spots-Bench будет полезен разработчикам AI-моделей, исследователям машинного обучения, студентам и преподавателям курсов по AI, а также компаниям, внедряющим мультимодальные системы. Для академического сообщества это источник ценных данных о слабых местах моделей. Для бизнеса — способ оценить, насколько AI-системы готовы к реальным сценариям.

Что пока остаётся неизвестным?

Исследователи пока не раскрывают полный список задач и не предоставляют публичный доступ к бенчмарку. Остаётся неясным, насколько репрезентативны 235 примеров для оценки всех возможных «слепых зон». Также нет информации о планах по расширению датасета. Возможно, в будущем бенчмарк будет дополнен новыми задачами и открыт для сообщества.

Заключение

Blind-Spots-Bench — важный шаг к более глубокому пониманию ограничений мультимодального AI. Он показывает, что даже передовые модели имеют систематические слабости, которые не выявляются стандартными тестами. Этот бенчмарк станет катализатором для разработки более надёжных и интеллектуальных систем, способных справляться с задачами, требующими гибкости и нестандартного подхода.