OpenAI улучшила GPT-2 с помощью обучения на предпочтениях людей: детали эксперимента

OpenAI провела эксперимент по дообучению языковой модели GPT-2 с 774 миллионами параметров, используя обратную связь от людей. Модель обучали для задач суммаризации текстов и продолжения текста в заданном стиле, оценивая результаты с помощью внешних аннотаторов. Этот подход направлен на создание более безопасных и контролируемых языковых моделей, способных учитывать человеческие ценности. В статье разберем детали эксперимента, его результаты и значение для будущего AI.

Как проходил эксперимент

OpenAI использовала метод обучения с подкреплением на основе человеческой обратной связи (RLHF). Для задачи суммаризации потребовалось 60 000 человеческих оценок, а для более простых задач, таких как продолжение текста в разных стилях, — всего 5 000 оценок. Аннотаторы оценивали качество ответов модели, после чего на основе этих оценок корректировались веса нейросети.

Интересно, что предпочтения аннотаторов не всегда совпадали с ожиданиями исследователей. Например, для суммаризации аннотаторы чаще выбирали варианты, которые дословно копировали фрагменты исходного текста, хотя инструкция требовала только точности. В результате модель научилась копировать, а не перефразировать. Это показывает, что человеческие предпочтения могут быть неоднозначными и требуют тщательного анализа.

Почему это важно для безопасности AI

Один из главных вызовов в разработке языковых моделей — сделать их поведение предсказуемым и соответствующим человеческим ценностям. Традиционные методы обучения, такие как обучение с учителем на больших корпусах текстов, часто приводят к тому, что модель генерирует токсичный или нежелательный контент. RLHF позволяет напрямую учитывать предпочтения людей, что делает модели более безопасными.

Этот эксперимент демонстрирует, что даже небольшая модель, такая как GPT-2, может быть значительно улучшена с помощью человеческих оценок. Для разработчиков чат-ботов, ассистентов и систем генерации контента это означает возможность создавать продукты, которые лучше соответствуют ожиданиям пользователей.

Какие задачи решали с помощью дообучения

В рамках эксперимента модель обучали двум типам задач: суммаризация текстов и продолжение текста в заданном стиле. Для суммаризации использовались тексты из датасета CNN/DailyMail, где модель должна была сжать длинный текст в короткое резюме. Для стилизации модель училась продолжать текст в определенном стиле, например, как в романах или научных статьях.

Результаты показали, что для суммаризации модель научилась копировать ключевые предложения, что не всегда является наилучшей стратегией. Для стилизации модель успешно адаптировалась к заданному стилю, но иногда допускала ошибки в тоне. Эти результаты подчеркивают важность тщательного выбора метрик и инструкций для аннотаторов.

Кого затронет этот эксперимент

Прежде всего, разработчиков языковых моделей, которые ищут способы улучшить контроль над поведением AI. Исследователи в области AI-безопасности также могут использовать эти результаты для разработки более эффективных методов выравнивания моделей. Наконец, все, кто работает с системами, взаимодействующими с людьми, — от чат-ботов до генераторов контента — смогут создавать более персонализированные и безопасные продукты.

Какие вопросы остаются открытыми

Несмотря на успех эксперимента, остается много неясного. Во-первых, неясно, как масштабировать такой подход на более крупные модели, такие как GPT-3 с 175 миллиардами параметров. Сбор 60 000 оценок для GPT-2 может быть непомерно дорогим для GPT-3. Во-вторых, не изучена стабильность полученных улучшений при различных сценариях использования. Модель может хорошо работать на тестовых данных, но давать сбои в реальных приложениях.

Кроме того, предпочтения аннотаторов могут быть субъективными и зависеть от культурного контекста. Как обеспечить, чтобы модель учитывала предпочтения разных групп пользователей? Это важный вопрос для будущих исследований.

Какие альтернативы существуют для обучения на предпочтениях

Помимо RLHF, существуют и другие методы, такие как обучение с имитацией (imitation learning) и обратная связь от модели (RL from AI feedback). Однако RLHF остается одним из самых прямых способов внедрения человеческих ценностей. В будущем, возможно, появятся гибридные подходы, сочетающие автоматическую и человеческую обратную связь.

Что дальше: перспективы развития

OpenAI уже использует RLHF для обучения своих более крупных моделей, таких как InstructGPT. Эксперимент с GPT-2 показывает, что даже небольшие модели могут быть улучшены, что открывает путь для более широкого применения этого метода. В ближайшие годы мы, вероятно, увидим больше продуктов, основанных на обучении с предпочтениями, от персонализированных ассистентов до систем модерации контента.

Как это повлияет на обычных пользователей

Для конечных пользователей это означает более качественные и безопасные AI-системы. Чат-боты будут реже давать нежелательные ответы, а генерация контента станет более точной. Однако пользователям стоит помнить, что модели все еще могут ошибаться, и человеческий контроль остается важным.

Заключение

Эксперимент OpenAI по дообучению GPT-2 на предпочтениях людей — важный шаг к созданию контролируемых языковых моделей. Он показывает, что даже небольшие усилия по сбору человеческих оценок могут значительно улучшить поведение модели. Однако остаются вопросы масштабирования и стабильности, которые предстоит решить исследователям. В любом случае, этот подход уже меняет то, как мы разрабатываем AI-системы.