Zoom-IQA: модель оценки качества изображений с текстовыми пояснениями

Оценка качества изображений долгое время оставалась задачей, где либо выставлялась числовая оценка, либо давалось описание дефектов, но не то и другое одновременно. Новая модель Zoom-IQA, представленная в препринте на arXiv, меняет это правило. Она не только присваивает изображению количественную оценку, но и генерирует текстовое пояснение, указывая на проблемные регионы. Это делает её первой моделью, которая объединяет числовой скор и интерпретируемое объяснение в рамках одной системы. Разработка принадлежит научной группе, которая использует vision-language модели (VLM) для достижения прозрачности в оценке качества.

Почему традиционные методы не справляются Стандартные IQA-модели, как правило, работают по одному из двух сценариев. Первый — это регрессионные модели, которые выдают только цифровой балл, например, от 0 до 100. Они эффективны, но не объясняют, почему изображение получило низкую оценку. Второй — это модели, генерирующие низкоуровневые описания, такие как "размытие" или "шум", но без точной количественной меры. Zoom-IQA преодолевает этот разрыв, предлагая комбинированный подход. Это особенно важно в сценариях, где требуется понимание причин низкого качества, например, в системах автоматического контроля контента, реставрации изображений или при обучении других моделей.

Как работает Zoom-IQA: двухэтапный пайплайн Архитектура Zoom-IQA строится на двух ключевых этапах обучения. Первый этап — supervised fine-tuning (SFT) на новом датасете Grounded-Rationale-IQA (GR-IQA). Этот датасет специально размечен так, чтобы модель училась связывать оценку качества с конкретными областями изображения. Например, если на фото есть размытый участок, модель должна указать на него и объяснить, как это влияет на общий балл. Второй этап — reinforcement learning (RL) с KL-Coverage регуляризатором. Этот механизм позволяет модели стабильно исследовать различные политики рассуждений и оценок, предотвращая коллапс разнообразия. Без такого регуляризатора модель могла бы зациклиться на однотипных объяснениях или оценках, что снизило бы её полезность.

Как Progressive Re-sampling Strategy уменьшает смещение? Одной из проблем в обучении IQA-моделей является аннотационное смещение — когда разметчики непропорционально часто оценивают определённые типы дефектов. Zoom-IQA использует Progressive Re-sampling Strategy, которая динамически корректирует распределение обучающих примеров. На ранних этапах модель фокусируется на наиболее частых дефектах, но постепенно переключается на редкие, но важные случаи. Это улучшает обобщающую способность и робастность модели на разнообразных изображениях. Эксперименты показывают, что такой подход значительно повышает объяснимость и точность по сравнению с традиционными методами.

Кому пригодится Zoom-IQA? Разработчики систем оценки качества изображений — первая целевая аудитория. Они смогут использовать Zoom-IQA не только для автоматической проверки, но и для отладки своих алгоритмов. Исследователи в области computer vision получат инструмент, который помогает понять, какие именно артефакты влияют на восприятие качества. Инженеры, работающие над реставрацией изображений, смогут анализировать, какие участки требуют доработки. Наконец, автоматические системы контроля качества контента, например, в социальных сетях или на стриминговых платформах, выиграют от прозрачности решений.

Чего пока не хватает? На данный момент датасет GR-IQA не опубликован — неизвестны его размер, источники изображений и методология разметки. Также не раскрыт код модели, что затрудняет воспроизведение результатов. Кроме того, производительность Zoom-IQA на специфических доменах, таких как медицинские снимки или спутниковые изображения, пока не проверена. Эти области часто имеют свои критерии качества, и неизвестно, насколько хорошо модель обобщается на них. Тем не менее, сам подход — объединение числовой оценки и текстового объяснения — выглядит многообещающим и может стать стандартом для будущих IQA-систем.