HuggingFace выпустил открытый датасет для обучения моделей генерации изображений: 7 млн сравнений

Команда HuggingFace совместно с сообществом выпустила Open Preference Dataset — открытый набор данных, содержащий оценки предпочтений для изображений, сгенерированных по текстовым запросам. Датасет включает около 7 миллионов сравнений пар изображений, размеченных вручную сообществом. Это событие может существенно повлиять на развитие моделей text-to-image, делая тонкую настройку на основе предпочтений человека доступной для всех.

Почему открытый датасет предпочтений — прорыв в генерации изображений

Тонкая настройка моделей text-to-image на основе предпочтений человека (preference tuning) позволяет улучшить качество генерации: изображения становятся более релевантными запросу, эстетичными и безопасными. До сих пор большинство таких датасетов были закрытыми или небольшими. Открытый датасет от HuggingFace демократизирует доступ к данным для исследователей и разработчиков. Теперь любой желающий может использовать эти данные для обучения своих моделей, что ускорит прогресс в области генерации изображений.

Как собирались данные и что в них входит?

Датасет содержит изображения, сгенерированные несколькими популярными моделями, включая Stable Diffusion и FLUX. Каждое сравнение включает два изображения на один промпт, и человек выбирает лучшее. Всего собрано около 7 миллионов сравнений. Датасет доступен на HuggingFace Hub под открытой лицензией. Это означает, что данные можно свободно использовать для исследований и коммерческих проектов. Процесс сбора был организован через краудсорсинг: участники сообщества оценивали пары изображений, что обеспечило разнообразие мнений.

Кто выиграет от нового датасета?

Исследователи и разработчики моделей text-to-image получат качественные данные для fine-tuning. Пользователи генеративных сервисов в перспективе увидят улучшение качества и соответствия изображений запросам. Компании, разрабатывающие коммерческие решения на основе генерации изображений, смогут использовать датасет для улучшения своих моделей. Например, сервисы дизайна, рекламы или контента смогут генерировать более точные и привлекательные изображения. Кроме того, датасет может быть полезен для обучения моделей безопасности, чтобы фильтровать нежелательный контент.

Какие ограничения есть у Open Preference Dataset?

Не раскрывается точный состав промптов и распределение по тематикам. Также неизвестно, насколько датасет сбалансирован по стилям и сложности запросов. Возможно, в нем преобладают определенные типы изображений, что может привести к перекосу при обучении. Кроме того, оценки предпочтений субъективны, и датасет может отражать вкусы конкретной группы людей. Это стоит учитывать при использовании данных. Несмотря на это, сам факт появления открытого датасета такого масштаба — значительный шаг вперед.

Как использовать датасет для обучения моделей?

Для начала нужно скачать датасет с HuggingFace Hub. Затем можно использовать его для fine-tuning существующих моделей, таких как Stable Diffusion или FLUX. Процесс включает в себя обучение модели предсказывать, какое изображение из пары предпочтительнее, и затем корректировать генерацию. Это требует определенных вычислительных ресурсов, но с открытым датасетом экспериментировать стало проще. HuggingFace также предоставляет инструменты и примеры кода для работы с датасетом.

Что дальше: перспективы развития открытых датасетов?

Выпуск Open Preference Dataset может стимулировать создание других открытых датасетов для оценки предпочтений. Возможно, появятся датасеты с более детальной разметкой, например, по конкретным атрибутам изображений. Это позволит точнее настраивать модели. HuggingFace, вероятно, продолжит поддерживать и расширять датасет на основе отзывов сообщества. В целом, тренд на открытость данных в AI набирает обороты, и это хорошо для всей индустрии.

Заключение: Open Preference Dataset от HuggingFace — важный вклад в развитие генерации изображений. Он дает исследователям и разработчикам доступ к большим данным предпочтений, что ускорит создание более качественных и безопасных моделей. Несмотря на некоторые неизвестные, датасет уже сейчас можно использовать для улучшения text-to-image систем. Следите за обновлениями на HuggingFace Hub, чтобы не пропустить новые версии.