ИИ-агенты на переговорах: как поведение выдает ваши секреты и что с этим делать

Автономные агенты искусственного интеллекта, ведущие переговоры, могут непреднамеренно раскрывать конфиденциальную информацию через свое поведение, даже если все явные данные зашифрованы. Исследователи из arXiv показали, что анализ траекторий уступок, таймингов и паттернов сходимости позволяет противнику вывести частные ограничения агента. Для защиты предложена адаптивная стохастическая политика, обеспечивающая дифференциальную приватность без потери эффективности.

Что такое утечка приватности через поведение

Когда два ИИ-агента ведут переговоры, они обмениваются предложениями и уступками. Даже если сами числа зашифрованы, последовательность действий — когда агент уступает, насколько резко меняет позицию, как быстро сходится к соглашению — может рассказать о его внутренних ограничениях. Например, агент, который быстро идет на уступки, вероятно, имеет низкую резервную цену, а агент, делающий паузы перед решающим шагом, может скрывать высокие требования. Исследователи формализовали это явление как behavioural privacy leakage — утечку частной информации через наблюдаемые действия.

Почему традиционная защита не работает

Обычные методы защиты приватности в переговорах фокусируются на шифровании передаваемых данных или использовании гомоморфного шифрования. Однако они не учитывают, что сам процесс взаимодействия может быть информативным. Даже если противник не видит ни одного числа, он может восстановить частные параметры агента, просто наблюдая за его поведением. Это особенно опасно в чувствительных областях — страховании, закупках, финансах, где агенты оперируют конфиденциальными данными клиентов.

Как работает новая защита

Группа исследователей разработала механизм, который на каждом раунде переговоров выбирает уступку случайным образом, но с учетом двух факторов: требуемого уровня приватности и вероятности достижения соглашения. Этот механизм обеспечивает (ε, δ)-дифференциальную приватность — то есть добавление или удаление одного элемента данных не меняет распределение результатов более чем на заданную величину. При этом он почти наверное сходится к соглашению, если резервная цена контрагента позволяет, и сохраняет высокую полезность.

Какие результаты показали эксперименты

В ходе экспериментов на 3000 синтетических двусторонних переговорах новая политика снизила точность инференс-атаки на 43–50%. При этом успешность переговоров (достижение соглашения) и полезность (близость к оптимальному исходу) остались выше 90%. Это означает, что защита приватности не требует жертвовать эффективностью.

Кого затронет это открытие

Разработчики и исследователи в области ИИ-агентов должны учитывать behavioural privacy leakage при проектировании переговорных систем. Специалисты по безопасности и приватности получат новый инструмент для оценки рисков. Компании, внедряющие автономные переговорные системы в страховании, закупках, логистике и финансах, смогут предложить пользователям более надежную защиту приватности. Пользователи таких систем могут быть уверены, что их конфиденциальные данные не утекают через поведение агента.

Что остается неизвестным

Пока не изучено поведение механизма в многопользовательских сценариях с несколькими агентами, а также в условиях некооперативного поведения, когда одна сторона намеренно пытается обмануть другую. Также не исследована применимость к реальным переговорным протоколам, например, в торговых площадках или системах электронных закупок. Будущие работы должны заполнить эти пробелы.

Как защитить свои переговорные агенты уже сейчас

Разработчики могут внедрить адаптивную стохастическую политику в свои системы, настроив параметры приватности в зависимости от чувствительности данных. Важно также проводить аудит поведения агентов на предмет косвенной утечки. Для компаний, использующих готовые решения, стоит запросить у вендоров информацию о защите от behavioural privacy leakage.

Заключение

Утечка приватности через поведение — реальная угроза для автономных переговорных агентов, которую нельзя игнорировать. Предложенный механизм на основе дифференциальной приватности предлагает практическое решение, сохраняющее эффективность переговоров. По мере распространения ИИ-агентов в чувствительных сферах такие защиты станут стандартом отрасли.