PRX Part 4: Photoroom раскрывает стратегию работы с данными для обучения модели

Photoroom поделилась подробной стратегией работы с данными, используемыми для обучения модели удаления фона PRX. Компания делает акцент на качестве, разнообразии и синтетической генерации, чтобы повысить точность и обобщающую способность. Этот подход демонстрирует прозрачность в условиях растущей ко

Как Photoroom собирает и фильтрует данные для обучения модели

Сбор данных начинается с поиска разнообразных изображений из открытых источников. Команда отбирает снимки с различными объектами, фонами, освещением и ракурсами, чтобы модель научилась работать в реальных условиях. После сбора запускается автоматическая фильтрация: система отбраковывает низкокачественные, размытые или нерелевантные изображения. Это критически важно, так как мусорные данные могут испортить обучение. Фильтрация основана на метриках резкости, соотношения сигнал/шум и наличии артефактов. Также удаляются дубликаты и изображения с неприемлемым контентом.

Разметка данных: ручной труд и автоматизация

После фильтрации изображения нужно разметить — указать, где находится объект, а где фон. Photoroom использует комбинацию ручной разметки и автоматических инструментов. Ручная разметка выполняется обученными операторами для создания эталонных масок. Автоматические инструменты, включая предварительные модели, помогают ускорить процесс, но их результаты проверяются и корректируются. Такой гибридный подход позволяет получить высокое качество разметки при разумных затратах времени и ресурсов.

Синтетические данные: ключ к улучшению обобщения

Особое место в стратегии занимает генерация синтетических данных. Photoroom создаёт изображения с известными масками объектов, комбинируя вырезанные объекты с различными фонами. Это позволяет модели учиться на бесконечном разнообразии сцен, не требуя ручной разметки. Синтетические данные помогают сбалансировать классы — например, если в реальных данных мало изображений с котами, их можно сгенерировать. Также применяется аугментация: повороты, масштабирование, изменение цвета и добавление шума. Это делает модель устойчивой к вариациям в реальных условиях.

Как Photoroom балансирует классы и предотвращает переобучение?

Балансировка классов — одна из главных проблем в обучении моделей. Если модель видит 90% изображений с людьми и 10% с животными, она будет хуже работать с животными. Photoroom решает это несколькими способами. Во-первых, целенаправленно собирает или генерирует данные для редких классов. Во-вторых, использует взвешивание ошибок: ошибка на редком классе имеет больший вес при обучении. В-третьих, применяет oversampling — повторяет примеры редких классов в процессе обучения. Аугментация также помогает: даже небольшое количество реальных данных можно разнообразить, создавая вариации. Эти методы в совокупности снижают риск переобучения на доминирующих классах.

Почему качество данных важнее количества

В мире AI часто говорят о больших данных, но Photoroom доказывает, что качество важнее количества. Хорошо размеченные, разнообразные и чистые данные позволяют обучать модели с меньшим числом параметров, которые работают точнее. Это особенно важно для задачи удаления фона, где требуется высокая точность на границах объектов. Плохие данные приводят к артефактам, неправильному выделению волос или прозрачных объектов. Photoroom инвестирует в фильтрацию и разметку, чтобы минимизировать такие ошибки. Открытая публикация методологии помогает сообществу понять, какие подходы работают на практике.

Кому будет полезна эта стратегия

Разработчики и исследователи в области компьютерного зрения, особенно те, кто работает над сегментацией и удалением фона, найдут здесь практические советы. Стартапы, строящие пайплайны данных для AI-продуктов, могут адаптировать описанные методы. Также информация будет полезна продуктовым менеджерам, которые хотят понять, как данные влияют на качество модели. Даже небольшие команды могут применить принципы фильтрации, гибридной разметки и синтетической генерации для улучшения своих моделей.

Что пока остаётся неизвестным

Photoroom не раскрывает точные объёмы данных, использованные для обучения финальной модели PRX. Также нет информации о лицензиях на изображения из открытых источников — это важный юридический аспект. Кроме того, не описаны меры по обеспечению конфиденциальности данных пользователей при сборе. Возможно, эти детали появятся в следующих частях серии. Пока же сообщество может сосредоточиться на методологии, которая уже даёт представление о подходах компании к работе с данными.