Nemotron 3 Ultra от Nvidia в Vercel AI Gateway: мощная MoE-модель с контекстом 1 млн токенов

Vercel объявил о добавлении модели Nemotron 3 Ultra от Nvidia в свой AI Gateway. Эта открытая Mixture-of-Experts (MoE) модель рассуждений предназначена для оркестрации длительных агентных рабочих процессов. Она поддерживает контекстное окно в 1 млн токенов и достигает пропускной способности до 350 т

Что такое Nemotron 3 Ultra и почему это важно

Nemotron 3 Ultra — это открытая MoE-модель, оптимизированная для многошаговых сценариев с агентами. Она справляется с планированием, использованием инструментов, делегированием подзадач и восстановлением после ошибок. По заявлению Nvidia, модель обеспечивает до 30% более низкую стоимость на агентных задачах по сравнению с аналогами. Интеграция через Vercel AI Gateway упрощает доступ к модели, предоставляя единый API, отслеживание использования и стоимости, а также встроенные механизмы повторных попыток, отказоустойчивости и оптимизации производительности.

Как Vercel AI Gateway упрощает работу с Nemotron 3 Ultra

Vercel AI Gateway выступает единой точкой доступа к множеству моделей, включая Nemotron 3 Ultra. Разработчики получают кастомную отчетность, Zero Data Retention (нулевое хранение данных), динамическую сортировку провайдеров по задержке и стоимости, поддержку BYOK (Bring Your Own Key), отражение цен провайдера без наценки и отсутствие платформенной комиссии на инференс. Это позволяет командам сосредоточиться на разработке, а не на управлении инфраструктурой.

Какие задачи решает Nemotron 3 Ultra?

Nemotron 3 Ultra идеально подходит для агентных рабочих процессов, требующих длительного контекста и высокой пропускной способности. Например, она может управлять мультиагентными системами, где каждый агент выполняет свою подзадачу, или обрабатывать сложные цепочки вызовов инструментов. Благодаря контекстному окну в 1 млн токенов модель способна удерживать в памяти большие объёмы информации, что критично для задач анализа документов, генерации кода или диалоговых систем с длинной историей.

Детали модели Nemotron 3 Ultra

Модель имеет идентификатор nvidia/nemotron-3-ultra-550b-a55b. Она построена на архитектуре Mixture-of-Experts, что означает, что из 550 миллиардов параметров при каждом вызове активируются только 55 миллиардов. Это обеспечивает баланс между качеством и скоростью. Контекстное окно в 1 млн токенов — одно из самых больших среди открытых моделей, а пропускная способность до 350 токенов в секунду позволяет обрабатывать запросы в реальном времени.

Кому будет полезна эта интеграция

Интеграция Nemotron 3 Ultra через Vercel AI Gateway в первую очередь затронет разработчиков, создающих сложные агентные системы и мультиагентные рабочие процессы. Команды, уже использующие Vercel AI Gateway для управления вызовами моделей, смогут легко добавить новую модель без изменения архитектуры. Специалисты по AI/ML, заинтересованные в открытых MoE-моделях с большим контекстным окном, получат доступ к передовой технологии с упрощённым управлением.

Что пока неизвестно о стоимости

Точные тарифы для Nemotron 3 Ultra через AI Gateway не раскрыты. Предполагается, что цены соответствуют прямому предложению Nvidia с возможностью BYOK. Это означает, что разработчики могут использовать собственные ключи API от Nvidia, избегая дополнительных наценок. Vercel обещает отражение цен провайдера без комиссии, что должно сделать модель доступной по конкурентной цене.

Как начать использовать Nemotron 3 Ultra

Для начала работы с Nemotron 3 Ultra через Vercel AI Gateway необходимо зарегистрироваться в Vercel, подключить AI Gateway и добавить модель nvidia/nemotron-3-ultra-550b-a55b в свой проект. Поддерживается BYOK, поэтому можно использовать существующий ключ от Nvidia. Документация Vercel предоставляет примеры кода для интеграции через REST API или SDK. Рекомендуется протестировать модель на типовых агентных задачах, чтобы оценить производительность и стоимость.

Заключение

Добавление Nemotron 3 Ultra в Vercel AI Gateway — значимый шаг для разработчиков AI-агентов. Модель предлагает уникальное сочетание большого контекста, высокой пропускной способности и низкой стоимости на агентных задачах. Благодаря интеграции с AI Gateway, доступ к ней становится простым и управляемым. Если вы работаете над сложными агентными системами, стоит присмотреться к этой модели.