SPEX и ProxySPEX: Как масштабируемый анализ взаимодействий меняет интерпретируемость LLM

Современные большие языковые модели (LLM) демонстрируют сложное поведение, которое редко объясняется работой отдельных компонентов. Понимание того, как именно взаимодействуют различные части модели — признаки, обучающие примеры или внутренние элементы — критически важно для интерпретируемости, безопасности и доверия к искусственному интеллекту. Исследователи из лаборатории BAIR (Berkeley Artificial Intelligence Research) представили новые алгоритмы SPEX и ProxySPEX, которые позволяют масштабируемо выявлять значимые взаимодействия в LLM, решая проблему экспоненциального роста числа потенциальных комбинаций.

Как работают SPEX и ProxySPEX

В основе SPEX и ProxySPEX лежит концепция абляции — измерения влияния компонента путём его удаления или маскировки. Для атрибуции признаков маскируются отдельные сегменты входного промпта, для атрибуции данных — исключаются группы обучающих примеров, а для механистической интерпретируемости — отключаются внутренние компоненты. Ключевое отличие алгоритмов — способность эффективно обрабатывать экспоненциально растущее пространство взаимодействий, используя прокси-методы и теоретико-игровые подходы.

SPEX (Scalable Pairwise EXplanation) напрямую вычисляет вклады парных взаимодействий, используя формулу, основанную на значениях Шепли. Однако полный перебор всех пар становится непрактичным для больших моделей. ProxySPEX решает эту проблему, аппроксимируя вклады взаимодействий с помощью прокси-модели, обученной на подмножестве данных. Это позволяет значительно сократить вычислительные затраты, сохраняя при этом высокую точность.

Почему традиционные методы интерпретируемости не справляются

Большинство существующих методов интерпретируемости, такие как LIME или SHAP, фокусируются на вкладе отдельных признаков, игнорируя взаимодействия между ними. Однако в LLM ключевые эффекты часто возникают именно из-за комбинации нескольких компонентов. Например, понимание контекста в предложении может зависеть от совместной работы нескольких токенов или внимания разных голов. Без учёта взаимодействий такие объяснения остаются неполными.

Полный анализ всех возможных взаимодействий требует вычисления 2^n комбинаций для n компонентов, что делает его непрактичным даже для моделей среднего размера. SPEX и ProxySPEX предлагают обходные пути: SPEX использует теоретико-игровые аппроксимации, а ProxySPEX — эвристики на основе прокси-моделей.

Какие задачи решают новые алгоритмы

SPEX и ProxySPEX могут применяться в трёх основных сценариях: атрибуция признаков, атрибуция данных и механистическая интерпретируемость. В атрибуции признаков алгоритмы помогают понять, какие части входного текста (слова, фразы или символы) совместно влияют на предсказание. Например, в задаче анализа тональности модель может учитывать не только слово "плохой", но и его сочетание с последующим отрицанием.

В атрибуции данных алгоритмы выявляют, какие группы обучающих примеров совместно влияют на поведение модели. Это полезно для обнаружения нежелательных зависимостей, например, когда модель неявно опирается на демографические признаки из-за корреляции в данных. ProxySPEX особенно эффективен здесь, так как позволяет обрабатывать большие наборы данных.

В механистической интерпретируемости SPEX помогает понять, как внутренние компоненты модели (нейроны, слои, головы внимания) взаимодействуют для формирования предсказаний. Это может быть использовано для отладки, выявления неисправностей или улучшения архитектуры.

Какие ограничения могут быть у SPEX и ProxySPEX

Несмотря на преимущества, у методов есть потенциальные ограничения. ProxySPEX полагается на прокси-модель, которая может не полностью улавливать сложные взаимодействия в исходной модели, особенно если прокси слишком упрощён. Кроме того, оба алгоритма требуют настройки гиперпараметров, таких как порог значимости взаимодействий, что может влиять на результаты.

Пока не опубликованы результаты бенчмарков, сравнивающие SPEX с существующими методами интерпретируемости, такими как Integrated Gradients или Attention Rollout. Также не указаны практические ограничения при работе с моделями размером в сотни миллиардов параметров — например, сколько времени занимает анализ для GPT-3 или LLaMA-70B.

Кому пригодятся SPEX и ProxySPEX

Разработчики и исследователи в области интерпретируемости ИИ получат инструмент для более глубокого анализа моделей. Инженеры, работающие над безопасностью LLM, смогут выявлять нежелательные зависимости, например, когда модель использует стереотипные ассоциации. Специалисты по аудиту и регулированию ИИ-систем смогут проверять модели на соответствие требованиям прозрачности.

Методы также полезны для отладки: если модель даёт неожиданный ответ, SPEX может показать, какие взаимодействия привели к этому результату. Это ускоряет поиск ошибок и улучшает качество модели.

Что пока остаётся неизвестным

На данный момент не опубликованы результаты сравнительных тестов SPEX с другими методами. Исследователи не указали, как алгоритмы ведут себя на моделях с сотнями миллиардов параметров — например, сколько времени занимает анализ одного примера. Также неясно, насколько ProxySPEX устойчив к шуму в данных и как он масштабируется при увеличении числа компонентов.

Тем не менее, SPEX и ProxySPEX представляют собой важный шаг вперёд в интерпретируемости LLM. Они предлагают практический компромисс между полнотой анализа и вычислительной эффективностью, что делает возможным изучение взаимодействий в моделях, которые ранее были недоступны для такого анализа.