RUMBA: первый русскоязычный бенчмарк для оценки долгосрочной памяти диалоговых систем

Диалоговые системы с долгосрочной памятью становятся всё более востребованными: пользователи ожидают, что ассистент запомнит их предпочтения, историю общения и важные детали. Однако до недавнего времени не существовало инструмента для объективной оценки таких способностей на русском языке. Исследователи из Sber AI и AIRI представили RUMBA (Russian User Memory Benchmark) — первый русскоязычный бенчмарк, который проверяет, насколько хорошо диалоговые системы удерживают, обновляют и используют информацию о пользователе в многосессионных разговорах. Этот бенчмарк призван стать стандартом для разработчиков и исследователей, работающих над русскоязычными ассистентами.

Что такое RUMBA и как он устроен

RUMBA представляет собой набор из 20 многосессионных диалогов, каждый из которых включает от 5 до 15 сессий. Всего бенчмарк содержит 5000 тестовых примеров, охватывающих 8 типов задач памяти. Среди них — запоминание фактов о пользователе, обновление устаревшей информации, разрешение противоречий, понимание временного контекста и удаление данных по запросу. Каждый диалог построен вокруг реалистичного сценария, например, планирования отпуска, ведения бюджета или обсуждения хобби. Это позволяет оценить не только языковые модели, но и целые архитектуры, включая системы с RAG, агентные схемы и хранилища фактов.

Как RUMBA оценивает память диалоговых систем?

Для каждого тестового примера в бенчмарке указан правильный ответ и контекст, который система должна учитывать. Оценка производится по метрике точности (accuracy) — доле правильных ответов на вопросы, проверяющие память. Разработчики могут протестировать свою систему, запустив скрипт, который сравнивает ответы с эталонными. Бенчмарк опубликован на GitHub под открытой лицензией, что позволяет любому желающему воспроизвести результаты и сравнить различные подходы.

Предыстория и контекст

До появления RUMBA на русском языке не существовало бенчмарков, которые бы комплексно проверяли долгосрочную память диалоговых систем. Существующие англоязычные аналоги, такие как MemoChat или MemoryBank, ориентированы на другие языки и не учитывают специфику русскоязычных диалогов. Кроме того, многие из них проверяют только отдельные аспекты памяти, например, запоминание фактов, но не обновление или удаление информации. Разработка RUMBA стала ответом на растущую потребность в русскоязычных ассистентах, которые могут вести долгосрочные диалоги. В последние годы такие системы активно внедряются в банковской сфере, образовании и здравоохранении, где важно помнить историю взаимодействия с пользователем. Однако без специализированных бенчмарков разработчики не могли объективно оценить качество памяти своих систем.

Чем RUMBA отличается от других бенчмарков?

Главное отличие RUMBA от аналогов — ориентация на многосессионные диалоги и русский язык. В отличие от односессионных тестов, RUMBA проверяет, как система ведёт себя при длительном взаимодействии: забывает ли она факты, может ли обновить устаревшую информацию, не путает ли события во времени. Кроме того, бенчмарк включает сценарии, где пользователь явно просит удалить данные, что проверяет соблюдение приватности. Другое важное отличие — реалистичность сценариев. Диалоги RUMBA основаны на реальных разговорах с ассистентами, что делает оценку более практичной. Наконец, бенчмарк предоставляет не только тестовые примеры, но и эталонную архитектуру для воспроизведения результатов, что упрощает сравнение разных подходов.

Технические подробности бенчмарка

RUMBA построен на основе синтетических диалогов, но с использованием реальных шаблонов из русскоязычных чатов. Каждый диалог имеет чёткую структуру: начальная сессия, где пользователь сообщает факты, последующие сессии с вопросами и обновлениями, а также финальные сессии, проверяющие память. Всего в бенчмарке 8 типов задач, включая запоминание фактов (Fact Memorization), обновление фактов (Fact Update), разрешение противоречий (Conflict Resolution), понимание времени (Temporal Reasoning), удаление фактов (Fact Deletion), а также задачи на многошаговые рассуждения. Для каждого типа задач предусмотрено несколько примеров, чтобы обеспечить статистическую значимость. Оценка проводится автоматически с помощью скрипта, который сравнивает ответы системы с эталонными. Бенчмарк опубликован на GitHub под открытой лицензией, что позволяет любому разработчику протестировать свою систему.

Кого затронет RUMBA и как

RUMBA в первую очередь полезен разработчикам диалоговых систем и исследователям в области NLP. Для них бенчмарк станет инструментом для объективной оценки и сравнения различных архитектур памяти. Например, разработчики смогут понять, насколько эффективна их система RAG по сравнению с агентным подходом, или как влияет выбор векторной базы данных на качество памяти. Для бизнеса, внедряющего русскоязычных ассистентов, RUMBA может стать критерием выбора поставщика. Компании, которые заботятся о пользовательском опыте, смогут потребовать от вендоров результатов тестирования на этом бенчмарке. Кроме того, бенчмарк может стимулировать развитие более качественных русскоязычных моделей и архитектур, что в конечном итоге выиграют конечные пользователи. В России и странах СНГ, где русский язык является основным, RUMBA может стать стандартом де-факто для оценки памяти ассистентов. Это особенно актуально для банков, телеком-операторов и государственных услуг, где долгосрочное взаимодействие с пользователем — обычная практика.

Что будет дальше

Исследователи планируют расширять RUMBA, добавляя новые типы задач и сценарии. В ближайших планах — включение задач на эмоциональную память и персонализацию. Кроме того, авторы бенчмарка приглашают сообщество к участию: любой разработчик может предложить новый сценарий или улучшить существующий. Ожидается, что RUMBA будет регулярно обновляться и станет основой для соревнований по оценке памяти диалоговых систем.

Итог

RUMBA — это первый русскоязычный бенчмарк, который комплексно проверяет долгосрочную память диалоговых систем. Он заполняет важную нишу в области оценки NLP на русском языке и может стать стандартом для разработчиков. Если вы создаёте или используете русскоязычного ассистента, RUMBA поможет объективно оценить, насколько хорошо ваша система помнит пользователя.