Hugging Face раскрыл детали реализации RLHF с PPO для обучения ИИ

Компания Hugging Face опубликовала техническую статью, детально описывающую реализацию обучения с подкреплением на основе человеческой обратной связи (RLHF) с использованием алгоритма Proximal Policy Optimization (PPO). В материале раскрываются ключевые компоненты и практические приемы, необходимые для успешного дообучения больших языковых моделей. Эта публикация стала важным шагом в демократизации знаний о выравнивании ИИ, поскольку многие детали RLHF ранее оставались недокументированными или были скрыты в исходном коде.

Почему RLHF с PPO стал стандартом для выравнивания языковых моделей

RLHF с PPO является основным методом, используемым в таких системах, как ChatGPT, для согласования поведения модели с человеческими предпочтениями. Алгоритм позволяет не только повысить полезность ответов, но и снизить токсичность и предвзятость. Однако до недавнего времени воспроизведение этого подхода было сложной задачей из-за отсутствия подробных руководств. Публикация Hugging Face заполняет этот пробел, предоставляя инженерам и исследователям четкие инструкции по настройке каждого этапа обучения.

Архитектура модели вознаграждения и её обучение

Одним из ключевых элементов RLHF является модель вознаграждения, которая оценивает качество ответов языковой модели. В статье описывается, как построить такую модель на основе пар предпочтений, собранных от людей. Обычно для этого используется та же архитектура, что и у базовой модели, но с заменой последнего слоя на линейный выход, предсказывающий скалярную оценку. Обучение модели вознаграждения происходит с помощью ранжирующей функции потерь, такой как pairwise ranking loss. Важно, чтобы данные для обучения были разнообразными и отражали реальные предпочтения пользователей.

Особенности использования PPO: функции потерь, clipping и преимущества

Алгоритм PPO оптимизирует политику языковой модели, используя сигнал от модели вознаграждения. В статье подробно разбираются компоненты функции потерь PPO: суррогатная цель, клиппинг для ограничения изменений политики и бонус за энтропию для поддержания разнообразия. Клиппинг предотвращает слишком большие обновления, которые могут дестабилизировать обучение. Также объясняется, как вычисляются преимущества (advantages) через обобщенную оценку преимуществ (GAE), что позволяет сбалансировать смещение и дисперсию.

Техники стабилизации обучения: нормализация преимуществ и KL-дивергенция

Обучение с подкреплением часто страдает от нестабильности. Для её преодоления в статье рекомендуются несколько приёмов. Нормализация преимуществ (advantage normalization) — стандартная практика, при которой преимущества центрируются и масштабируются. Кроме того, добавляется штраф за KL-дивергенцию между обновляемой политикой и исходной моделью, чтобы предотвратить слишком сильное отклонение от предварительно обученного поведения. Это особенно важно для сохранения знаний, полученных на этапе предварительного обучения.

Практические советы по настройке гиперпараметров и обработке данных

Авторы делятся конкретными рекомендациями по выбору гиперпараметров, таких как скорость обучения, размер пакета и коэффициент клиппинга. Например, для PPO обычно используется скорость обучения порядка 1e-5, а коэффициент клиппинга устанавливается в 0.2. Также обсуждается, как обрабатывать данные: важно перемешивать примеры, использовать буфер воспроизведения и правильно масштабировать награды. Особое внимание уделяется сбору человеческой обратной связи: необходимо обеспечить разнообразие оценщиков и чёткие инструкции для снижения субъективности.

Сравнение с альтернативными методами, такими как DPO

В статье проводится сравнение PPO с более новым методом Direct Preference Optimization (DPO). DPO упрощает процесс, напрямую оптимизируя политику на основе предпочтений без отдельной модели вознаграждения. Однако PPO остаётся более гибким, позволяя использовать произвольные функции вознаграждения и комбинировать несколько целей. Выбор между методами зависит от конкретной задачи: DPO проще в реализации, но PPO может дать лучшие результаты при достаточных вычислительных ресурсах.

Какие практические сложности возникают при внедрении RLHF с PPO?

Одной из главных проблем является вычислительная стоимость: обучение модели вознаграждения и несколько итераций PPO требуют значительных ресурсов. Кроме того, сбор качественной человеческой обратной связи — трудоёмкий процесс, подверженный ошибкам. Нестабильность обучения также остаётся вызовом, особенно при работе с большими моделями. Статья предлагает решения: использовать меньшие модели для экспериментов, применять раннюю остановку и тщательно мониторить метрики, такие как KL-дивергенция и средняя награда.

Кого затронет эта публикация

Материал будет полезен исследователям и инженерам, работающим над выравниванием языковых моделей, разработчикам чат-ботов и систем ИИ, а также всем, кто интересуется практическими аспектами RLHF. Даже специалисты, уже знакомые с теорией, найдут в статье ценные детали реализации, которые помогут избежать типичных ошибок.

Что пока неизвестно

В статье не приводятся результаты экспериментов или сравнительные бенчмарки, что затрудняет оценку эффективности описанных методов на практике. Также не обсуждаются вопросы масштабирования RLHF на очень большие модели, например, с сотнями миллиардов параметров, или проблемы с безопасностью при обучении на человеческих предпочтениях, такие как внедрение предвзятости. Эти темы остаются открытыми для будущих исследований.