Исследователи призывают RAG-системы учитывать разнообразие мнений, а не только факты

Современные системы Retrieval-Augmented Generation (RAG) слишком сосредоточены на фактах, игнорируя неопределённость, присущую мнениям. Это может усиливать эхо-камеры и подавлять голоса меньшинств. Группа исследователей опубликовала позиционную статью на arXiv, в которой доказывает необходимость пересмотра подходов к оценке и проектированию RAG-систем. Они предлагают новую архитектуру O-RAG, которая уже показала значительное улучшение разнообразия мнений в экспериментах.

Что произошло

Группа исследователей опубликовала на arXiv позиционную статью, в которой доказывают, что современные системы Retrieval-Augmented Generation (RAG) чрезмерно ориентированы на факты и игнорируют неопределённость, присущую мнениям. Авторы провели опрос 34 крупных бенчмарков RAG и обнаружили, что только один из них нацелен на синтез мнений. Это, по их словам, структурный перекос, заложенный в датасетах, целях поиска и генерации, а также метриках оценки.

Почему это важно

Такой «фактический уклон» может приводить к усилению эхо-камер: доминирующие точки зрения воспроизводятся чаще, а голоса меньшинств подавляются. В условиях, когда RAG-системы всё активнее используются для доступа к информации, способность представлять разные перспективы становится критически важной для прозрачности и ответственности ИИ.

Как RAG-системы могут учитывать мнения?

Авторы формализуют проблему через концепцию количественной оценки неопределённости: для фактологических запросов следует минимизировать энтропию апостериорного распределения, а для запросов, связанных с мнениями, — сохранять её. Они выводят единую цель, основанную на расстоянии Вассерштейна, которая объединяет покрытие, точность и справедливость. В качестве доказательства концепции представлена архитектура O-RAG (Opinion-Aware RAG), которая включает извлечение мнений на основе LLM и метаданные мнений, привязанные к сущностям. Эксперименты на форумах продавцов электронной коммерции и публичных отзывах об отелях показали снижение расстояния Вассерштейна до распределения настроений на уровне корпуса на 18–48%, увеличение разнообразия настроений на 26,8% и повышение точности сопоставления сущностей на 42,7%. В 79,2% случаев человеческие оценщики предпочитали обогащённую мнениями генерацию.

Кого затронет

Разработчиков RAG-систем, исследователей в области обработки естественного языка, специалистов по этике ИИ, а также платформы, использующие RAG для агрегации пользовательских отзывов или новостей.

Что пока неизвестно

Насколько O-RAG масштабируется на другие домены и языки, а также как он интегрируется с существующими промышленными RAG-решениями. Также неясно, как обеспечить баланс между разнообразием мнений и защитой от дезинформации.