CoMind: новый датасет для изучения совместной деятельности людей через видео и сенсоры

Исследовательская группа представила датасет CoMind, который содержит записи реального совместного приготовления еды с нескольких точек зрения: эгоцентрической (от первого лица) и экзоцентрической (внешней). В датасет включены высококачественное аудио, данные трекинга взгляда, 3D-сканы сцены и объектов, а также разметка совместного внимания, социальных сигналов, взаимодействий между агентами и с объектами. Этот ресурс открывает новые возможности для изучения когнитивных процессов, лежащих в основе совместной деятельности, и может стать основой для создания более умных систем ИИ и роботов.

Почему CoMind важен для развития ИИ Понимание совместной деятельности людей требует моделирования не только действий, но и когнитивных процессов, таких как теория разума — способность приписывать другим ментальные состояния. CoMind предоставляет исследователям в области ИИ и робототехники богатый материал для разработки систем, способных предсказывать совместное внимание, anticipating социально обусловленные взаимодействия с объектами и планировать совместные действия. В отличие от существующих датасетов, которые часто фокусируются на индивидуальных действиях или простых взаимодействиях, CoMind охватывает сложные сценарии с участием нескольких агентов, что приближает нас к созданию truly collaborative AI.

Какие данные содержит датасет CoMind? Датасет включает многоперспективное видео, аудио высокого качества, трекинг взгляда и 3D-сканы сцены и объектов. Аннотации охватывают совместное внимание к объектам, социальные сигналы и взаимодействия между агентами, а также взаимодействия агент-объект. Установлены бенчмарки для трёх задач: оценка совместного внимания (Joint Attention Estimation), предсказание социально обусловленного взаимодействия с объектами (Socially Conditioned Object Interaction Anticipation) и предсказание передачи объекта (Collaborative Handover Prediction). Эти задачи отражают ключевые аспекты совместной деятельности, от отслеживания внимания до предвидения действий партнёра.

Как CoMind может повлиять на робототехнику и ИИ Датасет полезен для исследователей в области компьютерного зрения, мультимодального обучения, робототехники, а также для разработчиков систем proactive assistance и collaborative planning. Например, роботы, работающие бок о бок с людьми на кухне или в мастерской, смогут лучше понимать, когда человек нуждается в помощи, и предугадывать его следующие шаги. CoMind также может стимулировать развитие алгоритмов, которые учитывают социальные нормы и контекст, что критически важно для безопасного и эффективного взаимодействия человека и машины.

Что остаётся неизвестным о CoMind? Пока не раскрыты подробности о размере датасета (количество пар, длительность записей) и о точности базовых моделей на установленных бенчмарках. Также не указано, планируется ли расширение на другие сценарии, помимо приготовления еды. Однако даже в текущем виде CoMind представляет собой ценный ресурс, который может ускорить прогресс в области мультимодального обучения и социальной робототехники. Исследователи ожидают, что с появлением таких датасетов системы ИИ станут более адаптивными и способными к настоящему сотрудничеству с людьми.