Исследование INCLUDE-BENCH: стереотипы об инвалидности в моделях генерации изображений

Новый бенчмарк INCLUDE-BENCH впервые системно оценивает, как модели генерации изображений по тексту (T2I) воспроизводят стереотипы, связанные с инвалидностью. Исследователи проанализировали 119 тысяч изображений от 17 моделей и выявили, что даже современные нейросети склонны упрощённо изображать людей с инвалидностью, часто сводя их образ к инвалидной коляске. Это ставит под вопрос инклюзивность технологий, которые всё активнее используются в медиа, образовании и дизайне.

Как устроен INCLUDE-BENCH

Бенчмарк INCLUDE-BENCH — это первый крупномасштабный инструмент для оценки стереотипов об инвалидности в T2I-моделях. В отличие от предыдущих работ, которые фокусировались на гендере, расе или возрасте, этот бенчмарк заполняет важный пробел, связанный с инвалидностью. Исследователи разработали специальные промпты, охватывающие различные типы инвалидности — мобильные нарушения, слепоту, глухоту, когнитивные расстройства — и протестировали 15 открытых и 2 закрытые модели, включая Stable Diffusion, DALL-E и Midjourney.

Почему инвалидность долго оставалась вне фокуса?

До сих пор большинство исследований предвзятости в генеративных моделях касались видимых социальных категорий. Инвалидность же часто воспринимается как нишевая тема, хотя по данным ВОЗ более миллиарда человек в мире имеют ту или иную форму инвалидности. Игнорирование этой группы приводит к тому, что модели не только воспроизводят, но и усиливают вредные стереотипы, что может негативно влиять на самовосприятие людей с инвалидностью и их представление в обществе.

Ключевые результаты: что показал бенчмарк

Первое и самое яркое открытие — модели чрезвычайно однообразны в изображении людей с мобильными нарушениями. При запросе «человек в инвалидной коляске» все модели генерируют похожие сцены: человек сидит в коляске, часто в пустом помещении или на улице, без каких-либо дополнительных деталей, которые делают изображение уникальным. Это говорит о том, что модели «заучили» шаблон, а не понимают разнообразие жизненных ситуаций.

Как стереотипы влияют на разнообразие изображений?

Второй важный вывод — изображения, созданные с условием инвалидности, значительно менее разнообразны, чем изображения без такого условия. Например, при запросе «человек, занимающийся спортом» модель генерирует множество разных сцен: бег, плавание, йога. Но если добавить «человек с инвалидностью, занимающийся спортом», то в большинстве случаев появляется инвалидная коляска на беговой дорожке или человек с протезом. Это сужает представление о возможностях людей с инвалидностью и закрепляет стереотип, что их жизнь ограничена.

Стереотипные изображения точнее? Парадокс качества

Исследователи обнаружили парадоксальный эффект: стереотипные изображения (например, человек в инвалидной коляске) лучше соответствуют текстовому описанию, чем нестереотипные. То есть, если модель генерирует предсказуемый образ, она делает это качественно, но если пытается отойти от шаблона, качество падает. Это создаёт ловушку для разработчиков: оптимизация качества генерации может усиливать стереотипы, так как модель «выбирает» самый надёжный путь.

Что такое SCM Score и зачем он нужен?

Для количественной оценки стереотипности исследователи ввели новый показатель — Stereotype Content Model Score (SCM Score). Он основан на социологической модели содержания стереотипов, которая оценивает образы по двум шкалам: теплота (дружелюбие, доброта) и компетентность (способность, умения). Результаты показали, что модели часто изображают людей с инвалидностью как «тёплых, но некомпетентных» — это классический патерналистский стереотип. Такое представление может показаться безобидным, но на деле оно лишает людей с инвалидностью агентности и профессионализма.

Кого затронут результаты исследования?

В первую очередь это разработчики генеративных моделей. Им необходимо учитывать, что их продукты могут нести скрытые предубеждения, которые влияют на миллионы пользователей. Специалисты по этике ИИ получают инструмент для более точной оценки моделей перед их выпуском. Но главное — сообщества людей с инвалидностью, которые могут столкнуться с тем, что их образ в генерируемом контенте искажён. Например, если при поиске «успешный предприниматель» модель никогда не показывает человека с инвалидностью, это формирует искажённое восприятие у аудитории.

Какие ограничения есть у INCLUDE-BENCH?

Несмотря на масштаб, у бенчмарка есть ограничения. Во-первых, он не объясняет, почему разные архитектуры моделей дают разные результаты. Возможно, одни модели обучались на более разнообразных данных, а другие — на более стереотипных. Во-вторых, пока не предложены методы смягчения выявленных стереотипов. Исследователи лишь констатируют проблему, но не дают готовых рецептов. Это оставляет пространство для будущих работ: как переобучать модели, чтобы они были инклюзивнее, не теряя в качестве?

Выводы и перспективы

INCLUDE-BENCH — важный шаг к пониманию того, как генеративные модели отражают и усиливают социальные стереотипы. Он показывает, что даже самые современные нейросети не свободны от предвзятости, особенно в отношении малоизученных групп. Для создания truly инклюзивных технологий необходимо не только расширять обучающие датасеты, но и внедрять социологически обоснованные метрики, такие как SCM Score. Только так можно гарантировать, что ИИ будет служить всем людям, а не только большинству.