Kimi K3 с 2,8 трлн параметров: что значит открытие весов и как это изменит AI

27 июля 2025 года компания Moonshot AI выложила в открытый доступ веса своей флагманской модели Kimi K3, которая насчитывает 2,8 триллиона параметров. Это событие стало неожиданностью для индустрии: обычно китайские AI-стартапы держат технологии закрытыми, опасаясь утечек и конкурентного давления. Теперь же разработчики и исследователи по всему миру могут не только скачать модель, но и изучить её архитектуру, технический отчёт и три внутренних инструмента для обучения. Такой шаг способен изменить баланс сил на рынке больших языковых моделей, где доминируют закрытые системы вроде GPT-4 и Claude.

Архитектура и масштаб Kimi K3

Модель Kimi K3 построена на архитектуре трансформера с Mixture of Experts (MoE), что позволяет активировать лишь часть параметров при каждом запросе. Согласно техническому отчёту, общее число параметров составляет 2,8 триллиона, но на один токен активируется около 300 миллиардов — это сопоставимо с оценками для GPT-4 (1,7 трлн общих, 280 млрд активных). В MoE-слое используется 64 эксперта, из которых выбираются 4 на каждый токен. Размерность скрытого слоя — 16384, количество голов внимания — 128. Обучение проходило на 15 триллионах токенов на кластере из 10 000 GPU H100 в течение примерно 90 дней с применением смешанной точности bfloat16 и ZeRO-оптимизации.

В отчёте утверждается, что Kimi K3 превосходит GPT-4 по бенчмаркам MMLU, GSM8K и HumanEval, однако эти результаты пока не подтверждены независимыми тестами. Веса модели занимают около 5,6 ТБ в формате FP16, что требует значительных вычислительных ресурсов для инференса — как минимум 8 GPU H100 с 80 ГБ памяти. Moonshot AI также предоставила три инструмента: сборщик данных, систему управления обучением и фреймворк для оценки, что должно помочь сообществу воспроизвести результаты.

Почему Moonshot AI решила открыть веса?

Moonshot AI, основанная в 2023 году бывшими исследователями из Пекинского университета и Tencent, собрала более 1 миллиарда долларов от Alibaba и Sequoia Capital China. Ранее компания выпустила модели K1 и K2, но они оставались закрытыми. Открытие K3 — неожиданный шаг, который может быть продиктован желанием завоевать доверие международного сообщества и стимулировать сторонние исследования. В условиях, когда рынок больших языковых моделей перенасыщен, а открытых моделей мало (Meta открыла LLaMA 3.1 с 405 млрд параметров, но это в 7 раз меньше), Moonshot AI пытается занять нишу самого масштабного открытого решения. Возможно, компания также стремится привлечь разработчиков для экосистемы и получить обратную связь для улучшения модели.

Сравнение с другими открытыми моделями

Kimi K3 — самая большая открытая модель на сегодня. Для сравнения: LLaMA 3.1 405B имеет 405 млрд параметров, Qwen2.5 72B — 72 млрд, а DeepSeek-V2 — 236 млрд. Однако из-за MoE-архитектуры реальное количество активных параметров у Kimi K3 (300 млрд) сопоставимо с LLaMA 3.1 405B (405 млрд активных, так как она не использует MoE). Тем не менее, заявленная производительность на бенчмарках выше, чем у GPT-4 и Claude 3.5 Sonnet. Важно отметить, что независимые тесты пока не проводились, и доверять результатам стоит с осторожностью. Кроме того, состав обучающих данных не раскрыт, что вызывает вопросы о возможных предвзятостях и безопасности.

Как открытие повлияет на индустрию и исследователей

Открытие весов Kimi K3 в первую очередь выгодно исследователям и разработчикам, которые теперь могут изучать архитектуру, дообучать модель и адаптировать её под свои задачи. Для стартапов и небольших компаний это возможность получить доступ к передовой технологии без затрат на API, хотя инфраструктурные требования остаются высокими. Бизнес, использующий платный API Moonshot, может пересмотреть стратегию в пользу локального развёртывания. Конкуренты, такие как OpenAI, Google и Meta, могут почувствовать давление, особенно если независимые тесты подтвердят заявленное качество. В России и СНГ модель может быть интересна для исследований, но санкционные риски и ограничения на экспорт GPU усложняют её использование.

Какие риски и ограничения существуют?

Несмотря на открытость, остаются серьёзные вопросы. Во-первых, веса модели могут содержать скрытые бэкдоры или нежелательные biases, так как состав обучающих данных не раскрыт. Во-вторых, для работы с моделью требуется дорогостоящее оборудование, что ограничивает её доступность. В-третьих, Moonshot AI — китайская компания, и возможны регуляторные ограничения на использование модели в некоторых странах. Наконец, заявления о превосходстве над GPT-4 основаны на собственных тестах, и независимая верификация необходима для подтверждения.

Будущее после открытия Kimi K3

Ожидается, что в ближайшие недели сообщество начнёт независимое тестирование модели. Moonshot AI планирует выпустить обновления и инструменты для тонкой настройки. Если шаг окажется успешным, это может ускорить тренд на открытие весов крупных моделей, особенно среди китайских игроков. Однако остаётся риск, что модель будет использована для создания вредоносного контента или в военных целях. Полные ответы появятся только после аудита сообществом и публикации независимых бенчмарков.

Итог

Открытие весов Kimi K3 — значимое событие для AI-сообщества. Это самая большая открытая модель на сегодня, и её изучение может дать новые insights в архитектуру и обучение гигантских нейросетей. Однако пока все заявления Moonshot AI основаны на их собственных тестах. Следите за независимыми бенчмарками и обновлениями — они покажут реальную ценность этой модели. Если результаты подтвердятся, Kimi K3 может стать новым стандартом в области открытых больших языковых моделей.