Co-LMLM: новая архитектура с внешней базой знаний обходит GPT-4o-mini по точности

Новая архитектура языковых моделей Co-LMLM (Continuous-Query Limited Memory Language Model) демонстрирует, что компактные модели с внешней базой знаний могут превзойти гигантские аналоги по точности фактов. При 360 миллионах параметров она показывает результаты, сопоставимые с GPT-4o-mini, и превосходит Claude Sonnet 4.5. Это достижение знаменует собой шаг к более контролируемым и актуальным языковым моделям, которые меньше подвержены галлюцинациям.

Что такое Co-LMLM и как она работает

Co-LMLM развивает идею Limited Memory Language Models (LMLM), где модель не хранит факты в своих весах, а извлекает их из внешней базы знаний (KB) по мере необходимости. Главное нововведение — замена реляционных запросов на непрерывные векторные запросы. Вместо структурированных данных, таких как тройки из Википедии, модель теперь может работать с произвольными текстовыми фрагментами. Это делает базу знаний гораздо более гибкой: её можно пополнять любыми текстами, от научных статей до новостных заметок, без необходимости преобразования в реляционный формат.

Архитектура состоит из двух ключевых компонентов: языковой модели-декодера и внешней памяти. В памяти каждый факт представлен парой "ключ-значение": ключ — это непрерывный вектор, а значение — текст факта. Во время генерации модель формирует векторный запрос на основе текущего контекста, находит в памяти наиболее релевантные ключи и подставляет соответствующие текстовые значения как дополнительный контекст. Таким образом, модель может обращаться к актуальным данным в реальном времени, не полагаясь на застывшие знания, зашитые в веса.

Почему это важно для борьбы с галлюцинациями

Одна из главных проблем больших языковых моделей — галлюцинации, то есть генерация правдоподобных, но неверных фактов. Традиционные LLM запоминают информацию во время обучения, и если данные устарели или были редкими, модель может ошибаться. LMLM решает эту проблему, отделяя хранение знаний от рассуждения. Модель не пытается вспомнить факт, а ищет его в базе знаний. Это гарантирует, что ответ основан на проверенных данных, а не на статистических закономерностях.

Co-LMLM делает этот подход ещё более практичным. Благодаря непрерывным векторным запросам база знаний может содержать любые тексты, а не только структурированные факты. Это упрощает обновление: достаточно добавить новый документ, и модель сможет его использовать. Кроме того, разработчики создали автоматический пайплайн аннотирования, который размечает фактологические отрезки в произвольном тексте. Это позволило обучать модель не только на Википедии, но и на FineWeb-Edu — крупном наборе образовательных текстов.

Каких результатов удалось достичь

Эксперименты проводились на моделях разного масштаба, но самые впечатляющие результаты получены для версии с 360 миллионами параметров. На бенчмарке SimpleQA, который оценивает точность фактов, Co-LMLM достигла показателей, сопоставимых с GPT-4o-mini, и превзошла Claude Sonnet 4.5. При этом модель обучалась на значительно меньшем объёме данных — примерно в 40 раз меньше, чем конкуренты. Это говорит о высокой эффективности использования внешней памяти: модель не тратит ресурсы на запоминание фактов, а сосредотачивается на логике и рассуждении.

Какие задачи решает Co-LMLM лучше всего

Архитектура особенно сильна в задачах, где требуется точное знание фактов: ответы на вопросы, проверка утверждений, извлечение информации. Поскольку модель всегда обращается к актуальной базе знаний, она не подвержена устареванию — достаточно обновить KB, и модель сразу начнёт использовать новые данные. Это критически важно для медицинских, юридических и финансовых приложений, где достоверность информации имеет первостепенное значение.

Кроме того, Co-LMLM обеспечивает контролируемость. Разработчик может вручную редактировать базу знаний, удаляя нежелательные факты или добавляя специфические. Это позволяет адаптировать модель под конкретные требования без переобучения.

Какие ограничения остаются

Несмотря на успехи, у Co-LMLM есть и нерешённые вопросы. В статье не уточняется, как модель справляется с задачами, требующими многошаговых рассуждений или многократного обращения к базе знаний. Например, в сложных логических цепочках может потребоваться несколько запросов к KB, и эффективность такой работы пока не изучена. Также не приведены результаты для моделей большего размера, например, с 7 миллиардами параметров и выше. Возможно, на больших масштабах преимущества внешней памяти становятся менее заметными из-за высокой ёмкости самих весов.

Ещё один важный аспект — скорость инференса. Обращение к внешней базе знаний добавляет задержку: каждый запрос требует поиска по векторной базе данных. В статье не сравнивается время генерации с обычными LLM, но можно предположить, что для некоторых приложений реального времени это может стать узким местом.

Какие перспективы открывает Co-LMLM

Разработка Co-LMLM показывает, что путь к эффективным и надёжным языковым моделям лежит не только через наращивание параметров и данных, но и через умную архитектуру. Внешние базы знаний позволяют разделить память и вычисления, делая модели более модульными и контролируемыми. Возможно, в будущем мы увидим гибридные системы, где компактная модель рассуждает, опираясь на огромную, постоянно обновляемую базу знаний. Это может снизить затраты на обучение и эксплуатацию, одновременно повысив точность.

Для исследователей и инженеров Co-LMLM — это приглашение к экспериментам: как оптимально организовать векторную память, какие типы фактов лучше хранить, как балансировать между размером KB и скоростью поиска. Технология уже доступна в открытой статье, и сообщество может воспроизвести результаты и развить их.

Как это повлияет на разработку языковых моделей

Разработчики LLM получают новый инструмент для борьбы с галлюцинациями. Вместо того чтобы пытаться "зашить" все знания в веса, можно строить модели, которые умеют обращаться к внешним источникам. Это особенно актуально для специализированных доменов, где знания быстро меняются. Co-LMLM может стать основой для систем, которые всегда используют самую свежую информацию, будь то новости, научные публикации или корпоративные базы данных.

Кроме того, подход упрощает соблюдение авторских прав и конфиденциальности: если база знаний содержит только разрешённые данные, модель не сможет сгенерировать информацию из запрещённых источников. Это важное преимущество для коммерческих приложений.

Что остаётся неясным

На данный момент не опубликованы результаты для задач, требующих сложных рассуждений, таких как математические доказательства или многошаговые логические выводы. Также неясно, как поведёт себя модель при большом объёме базы знаний — не приведёт ли это к замедлению или снижению точности поиска. Скорость инференса пока остаётся за кадром, но для практического применения этот параметр критичен.

Тем не менее, Co-LMLM — это значительный шаг вперёд. Она доказывает, что компактные модели с внешней памятью могут конкурировать с гигантами, открывая путь к более доступным и надёжным AI-системам.