Nvidia создаёт открытую ИИ-модель Nemotron 4 с триллионом параметров

Nvidia готовит открытую ИИ-модель Nemotron 4 с 1 трлн параметров, чтобы составить конкуренцию лидерам рынка. Разработка ведётся в ответ на растущий спрос на открытые модели и может изменить расклад сил в индустрии.

Nvidia, известная прежде всего как производитель графических процессоров и лидер в области аппаратного обеспечения для искусственного интеллекта, решила серьёзно расширить своё присутствие в софтверном сегменте. Компания разрабатывает открытую ИИ-модель Nemotron 4 с 1 трлн параметров, сообщает The Information. Это прямой вызов таким гигантам, как OpenAI, Google и Meta, которые доминируют в разработке больших языковых моделей.

Новая модель станет частью семейства Nemotron 4, которое Nvidia уже представляла ранее. Однако предыдущие версии были значительно меньше и ориентированы в основном на корпоративных клиентов. Теперь же компания нацелилась на создание модели с открытыми весами, что позволит разработчикам по всему миру свободно использовать и дорабатывать её. Это шаг, который может кардинально изменить конкурентную среду на рынке ИИ.

Nvidia Nemotron 4: что известно о новой модели

По данным The Information, Nvidia уже ведёт работу над моделью с 1 трлн параметров. Это колоссальный объём, сравнимый с самыми крупными моделями, которые существуют на сегодняшний день. Для сравнения, GPT-4 от OpenAI, по слухам, содержит около 1,8 трлн параметров, хотя официально компания не раскрывает точные цифры. Модель Gemini от Google также имеет триллионные масштабы.

Открытые веса означают, что Nvidia опубликует не только архитектуру модели, но и её обученные веса. Это позволит разработчикам запускать модель на собственном оборудовании, дообучать её под специфические задачи и использовать в коммерческих продуктах без лицензионных отчислений. Такой подход уже успешно применяется Meta с её моделью Llama, которая стала одной из самых популярных открытых моделей в мире.

Nvidia пока не раскрывает деталей о сроках выпуска Nemotron 4, но учитывая темпы развития компании, анонс может состояться уже в ближайшие месяцы. Известно, что модель будет оптимизирована для работы на графических процессорах Nvidia, что даст компании дополнительное преимущество — ведь именно её чипы используются для обучения большинства ИИ-моделей.

Предыстория и контекст

Nvidia уже не первый год пытается диверсифицировать свой бизнес. Компания понимает, что зависимость от продаж GPU может стать уязвимостью в долгосрочной перспективе. Поэтому она активно инвестирует в программное обеспечение, облачные сервисы и разработку собственных ИИ-моделей. В 2023 году Nvidia представила модель Nemotron-4-340B, которая была ориентирована на корпоративных клиентов и использовалась для генерации синтетических данных.

Однако открытая модель с триллионом параметров — это совершенно другой уровень амбиций. Компания фактически бросает вызов не только OpenAI и Google, но и открытому сообществу разработчиков, которое уже создало множество успешных моделей на основе Llama и других открытых архитектур.

Интересно, что Nvidia делает ставку на открытость в то время, как некоторые другие компании, наоборот, ужесточают доступ к своим моделям. OpenAI, например, не публикует веса GPT-4, а Google держит Gemini в закрытом режиме. Nvidia же, похоже, хочет завоевать доверие сообщества и занять нишу открытых моделей, которая сейчас активно растёт.

Чем отличается Nemotron 4 от предыдущих версий?

Главное отличие — масштаб. Предыдущая модель Nemotron-4-340B имела 340 млрд параметров, что уже было впечатляющим результатом. Новая модель с 1 трлн параметров в три раза больше, что должно существенно повысить качество генерации текста, понимание контекста и способность решать сложные задачи.

Кроме того, открытые веса — это принципиальное изменение философии Nvidia. Раньше компания продавала доступ к своим моделям через облачные сервисы, теперь же она предлагает их бесплатно. Это может быть стратегическим ходом, направленным на укрепление экосистемы Nvidia: чем больше разработчиков используют её модели, тем больше они нуждаются в её GPU для их запуска.

Технические подробности и конкуренция

Пока неизвестно, на каких данных будет обучаться Nemotron 4 и какие архитектурные решения будут использованы. Однако можно предположить, что Nvidia задействует свои самые современные GPU, включая H100 и будущие B100, для обучения модели. Это позволит ей быстрее других компаний проводить итерации и улучшать модель.

Конкуренция в сегменте открытых моделей сейчас очень высока. Meta выпустила Llama 3, которая уже доступна в версиях до 400 млрд параметров. Mistral AI предлагает открытые модели, которые не уступают закрытым аналогам. Китайские компании, такие как Alibaba и Baidu, также активно публикуют открытые модели. В этом контексте появление модели с триллионом параметров от Nvidia может стать серьёзным событием, которое привлечёт внимание всего сообщества.

Однако не стоит забывать о сложностях. Обучение модели с триллионом параметров требует огромных вычислительных ресурсов и финансовых затрат. По оценкам экспертов, стоимость обучения такой модели может достигать сотен миллионов долларов. Nvidia, обладая собственной инфраструктурой и чипами, может позволить себе такие расходы, но это всё равно серьёзный риск.

Кого затронет и как

Разработчики и исследователи получат доступ к мощной открытой модели, которую можно использовать для самых разных задач — от генерации текста до создания чат-ботов и анализа данных. Это особенно важно для стартапов и небольших компаний, которые не могут позволить себе платить за использование закрытых моделей.

Для бизнеса открытая модель Nvidia означает возможность создавать собственные ИИ-решения без зависимости от внешних поставщиков. Это может ускорить внедрение ИИ в различных отраслях, от здравоохранения до финансов. Российские компании также смогут воспользоваться этой моделью, что особенно актуально в условиях санкционных ограничений и сложностей с доступом к западным технологиям.

Конкуренты, такие как OpenAI и Google, будут вынуждены реагировать на появление мощной открытой модели. Возможно, они пересмотрят свою политику открытости или ускорят разработку собственных моделей. В любом случае, выиграют конечные пользователи, которые получат больше выбора и более доступные технологии.

Что будет дальше

Ожидается, что Nvidia официально анонсирует Nemotron 4 в ближайшие месяцы. Компания может представить модель на одной из своих конференций, например, на GTC, которая обычно проходит в марте. Также возможно, что Nvidia выпустит модель поэтапно, сначала предоставив доступ ограниченному кругу партнёров, а затем открыв её для всех.

Эксперты прогнозируют, что открытая модель с триллионом параметров может стать новой точкой отсчёта в индустрии ИИ. Если Nvidia удастся реализовать задуманное, это укрепит её позиции не только как производителя железа, но и как ведущего игрока в области ИИ-софта. В долгосрочной перспективе это может привести к снижению цен на ИИ-услуги и ускорению инноваций.

Итог

Nvidia готовит серьёзный прорыв на рынке открытых ИИ-моделей. Модель Nemotron 4 с 1 трлн параметров может стать одной из самых мощных открытых моделей в мире. Это событие стоит внимательно отслеживать всем, кто интересуется искусственным интеллектом, поскольку оно может изменить баланс сил в индустрии и открыть новые возможности для разработчиков и бизнеса.