Как обучать мультимодальные эмбеддинги с Sentence Transformers: полное руководство

Мультимодальные эмбеддинги позволяют объединять текст, изображения и аудио в единое векторное пространство, что открывает новые возможности для поиска, рекомендаций и анализа контента. Библиотека Sentence Transformers от Hugging Face предоставляет удобный API для обучения и тонкой настройки таких моделей. В этой статье мы разберем, как использовать Sentence Transformers для создания мультимодальных эмбеддингов, какие модели доступны и как оценить их качество.

Что такое мультимодальные эмбеддинги и зачем они нужны

Мультимодальные эмбеддинги — это векторные представления, которые кодируют информацию из разных модальностей (текст, изображения, аудио) в общем пространстве. Это позволяет, например, искать изображения по текстовому описанию или находить аудиозаписи, соответствующие заданному тексту. Такие модели становятся ключевым инструментом для задач поиска, рекомендательных систем и анализа контента. Благодаря библиотеке Sentence Transformers процесс обучения мультимодальных эмбеддингов становится доступным даже для разработчиков, не имеющих глубоких знаний в области машинного обучения.

Какие модели поддерживаются в Sentence Transformers

Sentence Transformers поддерживает несколько готовых мультимодальных моделей, которые можно использовать для создания эмбеддингов. Среди них:

Модель google/siglip-so400m-patch14-384

Эта модель на основе SigLIP (Sigmoid Loss for Language Image Pre-training) позволяет создавать эмбеддинги для изображений и текста. Она обучена на больших парах изображение-текст и показывает высокую точность в задачах поиска. Для использования достаточно загрузить модель через Sentence Transformers и передать ей текст или изображение.

Модель sentence-transformers/clip-ViT-B-32-multilingual-v1

Данная модель является мультиязычной версией CLIP, которая поддерживает более 100 языков. Она идеально подходит для задач мультиязычного поиска, когда запросы и контент могут быть на разных языках. Модель создает эмбеддинги размером 512, что обеспечивает хороший баланс между производительностью и качеством.

Модель jinaai/jina-colbert-v2

ColBERT — это модель для реранжирования, которая использует механизм взаимодействия между запросом и документом. Она особенно полезна для задач поиска, где требуется высокая точность. Модель поддерживает ColBERTv2 и может быть настроена под конкретные данные.

Модель laion/clap-htsat-unfused

Для работы с аудио можно использовать модель CLAP (Contrastive Language-Audio Pretraining). Она создает эмбеддинги для аудиозаписей и текстовых описаний, что позволяет искать звуки по тексту или наоборот. Модель обучена на наборе данных LAION-Audio.

Как обучить мультимодальные эмбеддинги с помощью MultiModalModel

Sentence Transformers предоставляет класс MultiModalModel, который упрощает обучение мультимодальных моделей. Рассмотрим пошаговый процесс.

Загрузка данных

Для обучения потребуется датасет, содержащий пары разных модальностей. Например, это могут быть пары изображение-текст или аудио-текст. Hugging Face Datasets позволяет легко загружать такие датасеты. Пример кода:

python from datasets import loaddataset dataset = loaddataset("your-dataset", split="train")

Создание датасета для обучения

Датасет должен быть преобразован в формат, понятный Sentence Transformers. Обычно это список словарей с ключами "image", "text" или "audio". Для изображений можно использовать PIL.Image, для аудио — массив numpy.

Обучение модели

Создайте экземпляр MultiModalModel с нужной базовой моделью и настройте параметры обучения, такие как batch size и learning rate. Затем вызовите метод fit():

python from sentencetransformers import SentenceTransformer, losses from sentencetransformers.models import MultiModalModel

model = MultiModalModel("google/siglip-so400m-patch14-384") trainloss = losses.ContrastiveLoss(model=model) model.fit(trainobjectives=[(dataset, trainloss)], epochs=1, warmupsteps=100)

Оценка качества эмбеддингов

Для оценки качества мультимодальных эмбеддингов можно использовать InformationRetrievalEvaluator, который вычисляет метрики, такие как Recall@k и Mean Reciprocal Rank. Пример:

python from sentencetransformers.evaluation import InformationRetrievalEvaluator

evaluator = InformationRetrievalEvaluator(queries=queries, corpus=corpus, relevantdocs=relevantdocs) model.evaluate(evaluator)

Как настроить модель реранжирования с ColBERT

Модели реранжирования, такие как jinaai/jina-colbert-v2, улучшают результаты поиска, переупорядочивая начальный набор результатов. Sentence Transformers поддерживает ColBERT через класс ColBERTModel. Обучение происходит аналогично: загружаете данные, создаете датасет с парами запрос-документ и используете специальную функцию потерь.

Пример обучения ColBERT

python from sentencetransformers import SentenceTransformer, losses from sentencetransformers.models import ColBERTModel

model = ColBERTModel("jinaai/jina-colbert-v2") trainloss = losses.ColBERTLoss(model=model) model.fit(trainobjectives=[(dataset, trainloss)], epochs=1)

После обучения модель можно использовать для реранжирования: сначала получить начальные результаты с помощью обычного поиска по эмбеддингам, а затем применить ColBERT для уточнения.

Какие метрики использовать для оценки мультимодальных эмбеддингов

Для оценки качества эмбеддингов в задачах поиска часто используют метрики Recall@k, Precision@k и Mean Average Precision (MAP). Sentence Transformers предоставляет встроенные evaluator'ы, которые автоматически вычисляют эти метрики. Важно выбирать метрики в зависимости от задачи: для поиска изображений по тексту подойдет Recall@10, для рекомендаций — Precision@5.

Как использовать обученные эмбеддинги в продакшене

После обучения модель можно сохранить и загружать для инференса. Sentence Transformers поддерживает экспорт в ONNX и TorchScript для ускорения. Также можно использовать библиотеку FAISS для быстрого поиска по эмбеддингам. Пример сохранения и загрузки:

python model.save("path/to/model") loadedmodel = SentenceTransformer("path/to/model")

Какие ограничения есть у текущих мультимодальных моделей

На данный момент Sentence Transformers поддерживает только текст, изображения и аудио. Поддержка видео пока отсутствует, хотя это может быть реализовано в будущем. Также стоит учитывать, что мультимодальные модели требуют значительных вычислительных ресурсов для обучения, особенно при работе с большими датасетами.

Заключение

Sentence Transformers предоставляет мощный и удобный инструмент для обучения мультимодальных эмбеддингов. С помощью готовых моделей и класса MultiModalModel можно быстро создать решение для поиска, рекомендаций или анализа контента. Несмотря на некоторые ограничения, библиотека активно развивается, и в будущем можно ожидать поддержки новых типов данных и улучшения производительности.