Метод GeoSD: как геометрия распределений улучшает рассуждения LLM на 8.6%

Группа исследователей представила новый метод самодистилляции для больших языковых моделей — GeoSD (Geometric Self-Distillation). Он решает проблему дрейфа предсказаний при обучении на собственных траекториях модели, что особенно критично для задач рассуждений. В отличие от стандартных подходов, GeoSD использует геометрию распределений вероятностей, чтобы сохранить альтернативные варианты ответов и улучшить обобщение на незнакомые данные. На математических бенчмарках метод повышает точность на 5.7–8.6 пункта для моделей от 1.7 до 32 миллиардов параметров.

Почему самодистилляция часто приводит к переобучению

Самодистилляция — это техника пост-тренировки, при которой модель учится на своих собственных предсказаниях, используя их как мягкие метки. Это позволяет избежать необходимости в дополнительных данных или внешнем учителе. Однако стандартный подход имеет существенный недостаток: модель становится излишне уверенной в неверных ответах на данных, которые отличаются от обучающих. Это явление называется дрейфом предсказаний и особенно опасно для задач рассуждений, где даже небольшая ошибка может привести к неверному выводу. Исследователи из группы GeoSD предложили взглянуть на проблему с геометрической точки зрения.

Как работает GeoSD: геометрия вместо евклидова пространства

В основе GeoSD лежит идея, что обновления модели должны происходить в пространстве распределений вероятностей следующего токена, а не в пространстве параметров. Для этого используются две ключевые компоненты. Первая — потеря Хеллингера, которая масштабирует учительское предпочтение в зависимости от того, насколько студент уже с ним согласен. Если модель уже уверена в правильном ответе, вклад учителя уменьшается, что предотвращает избыточную уверенность. Вторая — проксимальный член, который штрафует отклонение предсказаний от недавнего чекпоинта. Это расстояние измеряется с помощью метрики Фишера-Рао, которая учитывает геометрию распределений. В результате обновления остаются в пределах доверительной области, сохраняя альтернативные варианты ответов.

Какие задачи решает регуляризация в GeoSD?

Регуляризация в GeoSD решает сразу две проблемы. Во-первых, она предотвращает коллапс модели в одно решение, что часто происходит при стандартной самодистилляции. Во-вторых, она улучшает обобщение на out-of-distribution данные, то есть на примеры, которые отличаются от обучающих. Это особенно важно для задач математических рассуждений, где модель должна уметь применять логику к новым условиям. Без регуляризации модель может запомнить шаблоны, но не научиться настоящим рассуждениям.

Экспериментальные результаты: улучшение на 5.7–8.6 пункта

Исследователи проверили GeoSD на трех семействах моделей: от 1.7 до 32 миллиардов параметров. В качестве бенчмарков использовались задачи математических рассуждений, такие как GSM8K и MATH. Результаты показали, что GeoSD улучшает среднюю точность на out-of-distribution данных на 5.7–8.6 процентных пункта по сравнению с базовой моделью. При этом точность на обучающих данных не снижалась, а в некоторых случаях даже немного росла. Это говорит о том, что метод не просто запоминает ответы, а действительно улучшает способность к обобщению.

Кому будет полезен GeoSD

Метод ориентирован на разработчиков и исследователей, работающих с большими языковыми моделями, особенно тех, кто использует дистилляцию или обучение с подкреплением для улучшения рассуждений. GeoSD может быть интегрирован в существующие пайплайны пост-тренировки без значительных изменений. Результаты показывают, что он эффективен для моделей разного размера, что делает его универсальным инструментом. Кроме того, геометрический подход может вдохновить на новые методы регуляризации в других областях машинного обучения.

Ограничения и вопросы для будущих исследований

Несмотря на впечатляющие результаты, у GeoSD есть ограничения. Во-первых, метод тестировался только на задачах математических рассуждений. Неясно, насколько он применим к другим типам задач, таким как генерация текста, перевод или ответы на вопросы. Во-вторых, эксперименты проводились на моделях до 32 миллиардов параметров. Для более крупных моделей, таких как 70B или 175B, эффект может быть другим. Также не исследовано влияние GeoSD на модели с другими архитектурами, например, на основе Transformer с различными механизмами внимания. Будущие работы могут расширить область применения метода и изучить его теоретические основы.

Заключение

GeoSD предлагает элегантное геометрическое решение проблемы дрейфа предсказаний при самодистилляции. Используя потерю Хеллингера и проксимальный член на основе расстояния Фишера-Рао, метод сохраняет альтернативные варианты ответов и улучшает обобщение. Эксперименты на математических бенчмарках подтверждают его эффективность для моделей разного размера. Хотя остаются вопросы о применимости к другим задачам и архитектурам, GeoSD уже сейчас может быть полезен для создания более надежных языковых моделей, способных рассуждать в новых условиях.