MADB: крупнейший датасет для оценки эстетики музыки с многомерными аннотациями

Что делает музыку красивой? Этот вопрос веками волновал философов, музыкантов и слушателей. Теперь к его решению подключился искусственный интеллект. Исследователи представили MADB — крупнейший на сегодняшний день датасет и бенчмарк для оценки музыкальной эстетики. Он включает 9 999 треков, каждый из которых оценён примерно десятью обученными аннотаторами по десяти перцептивным шкалам, а также содержит общую оценку и текстовые комментарии. MADB призван стать стандартизированным инструментом для сравнения моделей и выявления их ограничений в тонкой задаче восприятия музыки.

Почему оценка эстетики музыки так сложна

Музыкальная эстетика — это не просто «нравится или нет». Это многомерное восприятие, включающее мелодичность, ритмичность, насыщенность, тембр, эмоциональную окраску и множество других аспектов. Человек оценивает трек комплексно, но при этом способен выделить отдельные характеристики. Для машин такая задача оказывается крайне трудной: нужно улавливать субъективные, часто неявные суждения. До сих пор прогресс в этой области сдерживался отсутствием крупных структурированных датасетов, которые позволили бы обучать и тестировать модели. MADB заполняет этот пробел, предоставляя не только большой объём данных, но и многомерные аннотации, что открывает новые возможности для исследований.

Как устроен MADB: структура и аннотации

Датасет состоит из 9 999 музыкальных треков, охватывающих различные жанры и стили. Аннотирование проводили 30 специально обученных специалистов, каждый трек получил в среднем 10 оценок. Оценки выставлялись по десяти перцептивным шкалам, таким как мелодичность, ритмичность, насыщенность, гармоничность, динамичность, тембральное разнообразие, эмоциональная выразительность, оригинальность, техническое исполнение и общее впечатление. Кроме того, для каждого трека собиралась общая оценка эстетики и текстовые комментарии, что позволяет проводить мультимодальный анализ. Такая структура даёт возможность исследовать, как различные аспекты музыки влияют на её восприятие, и строить модели, предсказывающие не только общую оценку, но и отдельные компоненты.

Какие модели тестировались на MADB и каковы результаты?

В рамках работы авторы протестировали несколько предобученных моделей, в том числе популярные архитектуры для анализа аудио. Результаты показали существенные расхождения между предсказаниями моделей и человеческими оценками. Это подтверждает, что современные модели плохо справляются с задачей оценки эстетики, особенно в многомерном аспекте. Однако конкретные метрики разрыва и названия моделей в публикации не раскрываются, что оставляет пространство для дальнейших исследований. Авторы планируют опубликовать детали бенчмарка и, возможно, сделать датасет доступным для научного сообщества.

Кому пригодится MADB

В первую очередь датасет будет полезен исследователям в области музыки и искусственного интеллекта, разрабатывающим модели для анализа аудио и рекомендательных систем. Компании вроде Spotify и Apple Music смогут использовать MADB для улучшения алгоритмов персонализации и поиска музыки. Специалисты по компьютерному слуху и мультимодальному обучению также найдут в нём ценный ресурс для тестирования своих подходов. Кроме того, MADB может стать основой для новых исследований в области психологии восприятия музыки и эстетики.

Что пока остаётся неизвестным

На данный момент не уточняется, какие именно предобученные модели тестировались и каковы конкретные метрики разрыва между их предсказаниями и человеческими оценками. Также не раскрывается, будет ли датасет доступен для свободного скачивания или только по запросу. Эти детали, вероятно, появятся в ближайших публикациях авторов. Тем не менее MADB уже сейчас представляет собой значительный шаг вперёд в области оценки музыкальной эстетики и может стать стандартным бенчмарком для будущих исследований.

Заключение

MADB — это не просто датасет, а инструмент, который может изменить подход к анализу музыки. Предоставляя многомерные аннотации и текстовые комментарии, он позволяет глубже понять, как люди воспринимают музыку, и создавать более точные модели. Хотя до идеала ещё далеко, MADB открывает новые горизонты для исследований и практических применений в музыкальной индустрии. Остаётся ждать новостей о доступности датасета и дальнейших результатах тестирования моделей.