Как учёные создали метод аудита ИИ-суммирования мнений граждан и что это меняет

Исследователи разработали методологию аудита под названием participatory provenance, которая позволяет отслеживать, как искусственный интеллект трансформирует, фильтрует или теряет индивидуальные мнения при суммировании общественных консультаций. Этот подход сочетает оптимальный транспорт, причинный вывод и семантический анализ, чтобы оценить, насколько итоговые сводки верно отражают исходное разнообразие взглядов. Метод уже протестирован на национальной консультации по стратегии ИИ Канады 2025-2026 годов, где участвовало 5253 респондента по двум независимым темам. Результаты показали, что официальные правительственные сводки уступают случайному выбору участников: покрытие мнений снижено на 9,1% и 8,0%, а 16,9% и 15,3% участников фактически исключены из репрезентации. Это открытие ставит под сомнение надежность ИИ-суммирования в демократических процессах и предлагает инструмент для повышения прозрачности.

Что такое participatory provenance и как он работает

Participatory provenance — это фреймворк для аудита ИИ-систем, которые обобщают мнения большого числа людей. В отличие от традиционных методов объяснимости ИИ, которые фокусируются на качестве вывода (например, на галлюцинациях или логике), новый подход сосредоточен на верности входа: сохраняет ли итоговая сводка истинное распределение мнений участников. Метод использует три ключевые техники. Оптимальный транспорт измеряет смещение распределения мнений между исходными данными и сводкой. Причинный вывод оценивает, как характеристики участников (возраст, пол, регион) влияют на вероятность того, что их мнение будет представлено. Семантический анализ выявляет потерю смысла — например, когда важные нюансы или критические замечания исчезают из обобщения.

Как именно отслеживается потеря мнений?

Фреймворк строит карту трансформации каждого отдельного мнения от исходного текста до итоговой сводки. Для этого исследователи разбивают мнения на семантические кластеры и анализируют, какие из них попадают в финальный документ, а какие — нет. В случае с канадской консультацией анализ показал, что исключение концентрируется в кластерах, выражающих несогласие, скептицизм и критику ИИ: уровень исключения там достигал 33-88%. То есть система систематически отсеивала голоса, которые ставили под сомнение саму технологию. Кроме того, были выявлены три независимых предиктора репрезентационного исхода: краткость высказывания, семантическая изоляция (когда мнение не вписывается в доминирующие темы) и риторический регистр (например, сарказм или эмоциональные формулировки).

Почему это важно для демократии и общественных консультаций

ИИ всё чаще используется для синтеза массовых общественных консультаций — от городских бюджетов до национальных стратегий. Однако до сих пор не существовало формального фреймворка для аудита верности представления исходного населения. Существующие подходы к объяснимости ИИ, обоснованию и обнаружению галлюцинаций не решают эту проблему, так как фокусируются на качестве вывода, а не на сохранении разнообразия входа. Participatory provenance закрывает этот пробел, позволяя отслеживать, как каждое мнение преобразуется или теряется. Для государственных органов это означает возможность проверять, не искажают ли ИИ-системы волю граждан. Для разработчиков — инструмент для улучшения алгоритмов. Для граждан — гарантию, что их голос не будет проигнорирован из-за технических особенностей суммирования.

Какие группы населения могут пострадать от искажения?

Метод особенно важен для маргинализированных групп, чьи мнения часто отличаются от мейнстрима. В канадском кейсе исключение затронуло в первую очередь тех, кто высказывал скептицизм по отношению к ИИ — например, опасения по поводу рабочих мест или этики. Если такие мнения систематически отсеиваются, итоговая сводка создаёт ложное впечатление единодушия. Это может привести к принятию решений, которые не учитывают реальные опасения части населения. Participatory provenance позволяет выявить такие смещения и скорректировать процесс суммирования.

Детали тестирования на канадской консультации

Исследователи применили метод к национальной консультации по стратегии ИИ Канады 2025-2026 годов, в которой участвовало 5253 респондента. Участники отвечали на вопросы по двум независимым темам: «Возможности ИИ» и «Риски ИИ». Официальные правительственные сводки были созданы с помощью ИИ-инструментов. Анализ показал, что эти сводки уступают даже случайному выбору участников: покрытие мнений (доля представленных уникальных взглядов) снижено на 9,1% и 8,0% по двум темам соответственно. Более того, 16,9% и 15,3% участников были фактически исключены — их мнения не нашли отражения ни в одном из итоговых пунктов. Исключение было неравномерным: наибольшие потери понесли кластеры с критическими и скептическими высказываниями.

Какие факторы предсказывают исключение?

Исследователи выявили три ключевых предиктора. Первый — краткость: короткие ответы (менее 20 слов) чаще терялись. Второй — семантическая изоляция: если мнение не вписывалось в основные темы, его шансы на включение падали. Третий — риторический регистр: саркастические, эмоциональные или формально-юридические формулировки хуже распознавались системой. Эти факторы работали независимо друг от друга, что позволяет разработчикам целенаправленно улучшать алгоритмы.

Кого затронет этот метод

Метод важен для государственных органов, проводящих общественные консультации с помощью ИИ, — они смогут проверять качество суммирования. Разработчики систем ИИ для синтеза мнений получат инструмент для аудита и итеративного улучшения. Исследователи в области подотчётности ИИ смогут использовать фреймворк для новых экспериментов. Наконец, граждане, чьи мнения могут быть искажены или проигнорированы, получат механизм контроля. Уже создан открытый интерактивный инструмент Co-creation Provenance Lab, который позволяет любому загрузить свои данные и провести аудит.

Что пока неизвестно и какие есть ограничения

Точные механизмы, по которым теряются мнения, до конца не изучены. Например, неясно, как именно алгоритмы суммирования выбирают, какие высказывания включить. Также требуется валидация на большем числе кейсов — текущее исследование основано на одной консультации. Фреймворк пока не протестирован на других языках и типах консультаций (например, с открытыми вопросами или множественным выбором). Кроме того, метод требует ручной разметки семантических кластеров, что может быть трудоёмко для крупных проектов. Тем не менее, participatory provenance представляет собой важный шаг к прозрачности ИИ в демократических процессах.