Контрфактическая справедливость не гарантирует групповую справедливость в классификаторах изображений

Исследователи из arXiv представили статью, в которой изучается взаимосвязь между контрфактической справедливостью (counterfactual fairness, CF) и групповой справедливостью (group fairness, GF) в задачах классификации изображений. Они создали два новых набора данных — CF-CelebA и CF-LFW — на основе п

Исследователи из arXiv представили статью, в которой изучается взаимосвязь между контрфактической справедливостью (counterfactual fairness, CF) и групповой справедливостью (group fairness, GF) в задачах классификации изображений. Они создали два новых набора данных — CF-CelebA и CF-LFW — на основе популярных бенчмарков GF, используя высококачественное редактирование изображений и разметку от людей. Это позволило одновременно оценить CF и GF. Ранее на табличных данных было показано, что CF подразумевает GF. Однако для изображений это оказалось неверным: модели, удовлетворяющие CF, могут нарушать GF. Это ставит под сомнение универсальность существующих подходов к справедливости в компьютерном зрении и требует новых методов.

Почему контрфактическая справедливость не гарантирует групповую справедливость в изображениях?

Авторы теоретически показали, что проблема возникает из-за скрытого признака G, который коррелирует с чувствительным атрибутом (например, длина волос коррелирует со вторичными половыми признаками), но не является его причиной. Для уменьшения этой корреляции предложен метод Counterfactual Knowledge Distillation (CKD). Эксперименты на CF-CelebA и CF-LFW показали, что после применения CKD модели, достигающие CF, также удовлетворяют GF.

Как метод CKD помогает достичь справедливости в классификаторах изображений?

CKD использует дистилляцию знаний для обучения модели, которая минимизирует корреляцию между скрытым признаком G и чувствительным атрибутом. Это позволяет модели удовлетворять как контрфактической, так и групповой справедливости. Разработчиков систем компьютерного зрения, исследователей в области справедливости алгоритмов, а также компании, внедряющие ИИ для принятия решений на основе изображений (например, в рекрутинге или правоохранительных органах), это затронет напрямую. Насколько метод CKD применим к другим типам изображений и чувствительным атрибутам, пока неизвестно. Требуется дальнейшая валидация на более разнообразных наборах данных.

Какие последствия для индустрии компьютерного зрения?

Результаты исследования подчеркивают, что существующие методы обеспечения справедливости, разработанные для табличных данных, не переносимы напрямую на изображения. Компании, использующие классификаторы изображений для принятия решений, должны учитывать этот разрыв и применять специализированные подходы, такие как CKD. Исследователям предстоит разработать более универсальные методы, которые будут работать для различных модальностей и чувствительных атрибутов.