Nvidia ускоряет агентный ИИ: Nemotron 3.5 Lightning и NeMo Switchyard

Nvidia представила Nemotron 3.5 Lightning и NeMo Switchyard — технологии, которые делают агентный ИИ быстрее, дешевле и эффективнее. Новые инструменты позволяют компаниям развертывать ИИ-агентов с меньшими затратами и большей производительностью.

Nvidia объявила о выпуске новых технологий для агентного искусственного интеллекта — Nemotron 3.5 Lightning и NeMo Switchyard. Эти решения призваны ускорить работу ИИ-агентов, снизить затраты на их развертывание и сделать их более доступными для бизнеса. Анонс прозвучал на фоне растущего интереса к агентному ИИ, который способен самостоятельно выполнять сложные задачи, взаимодействуя с внешними сервисами и инструментами.

Nemotron 3.5 Lightning — это облегченная версия языковой модели Nvidia, оптимизированная для выполнения задач агентного ИИ. Модель демонстрирует значительное улучшение производительности по сравнению с предыдущими версиями, сохраняя при этом высокую точность ответов. NeMo Switchyard, в свою очередь, представляет собой платформу для управления и оркестрации агентов, позволяющую разработчикам эффективно координировать работу множества ИИ-агентов в реальном времени.

Что такое Nemotron 3.5 Lightning и NeMo Switchyard

Nemotron 3.5 Lightning — это компактная языковая модель, специально разработанная для агентных сценариев. Она весит всего несколько гигабайт и может работать на обычных серверах, не требуя дорогостоящего специализированного оборудования. По данным Nvidia, модель обеспечивает прирост скорости в 2-3 раза по сравнению с предыдущей версией Nemotron 3.5, сохраняя при этом качество ответов на уровне более крупных моделей.

NeMo Switchyard — это инструмент для построения и управления мультиагентными системами. Он позволяет разработчикам создавать сложные конвейеры, в которых несколько агентов взаимодействуют друг с другом и с внешними API. Платформа включает в себя мониторинг, логирование и автоматическое масштабирование, что упрощает развертывание агентных решений в производственной среде.

Предыстория и контекст

Интерес к агентному ИИ резко вырос после появления больших языковых моделей, способных не только генерировать текст, но и выполнять действия — от отправки электронных писем до управления программными системами. Однако до сих пор развертывание таких агентов было дорогим и сложным из-за высоких требований к вычислительным ресурсам. Nvidia, являясь лидером в производстве GPU для ИИ, стремится закрепить свои позиции в этой новой области, предлагая как аппаратные, так и программные решения.

Анонс Nemotron 3.5 Lightning и NeMo Switchyard является частью более широкой стратегии Nvidia по продвижению агентного ИИ. Ранее компания представила платформу NeMo, предназначенную для разработки и развертывания генеративных моделей, а также выпустила серию моделей Nemotron, ориентированных на корпоративных пользователей. Новые технологии призваны сделать агентный ИИ более практичным и доступным.

Чем отличается от предыдущих версий?

Nemotron 3.5 Lightning отличается от своих предшественников в первую очередь размером и оптимизацией под агентные задачи. Модель использует технику дистилляции, при которой знания большой модели переносятся в меньшую, сохраняя при этом высокую точность. Это позволяет запускать модель на менее мощном оборудовании, что снижает затраты на инфраструктуру. Кроме того, Lightning специально обучена на наборах данных, связанных с планированием действий, вызовом функций и работой с инструментами, что делает ее более эффективной для агентных сценариев.

NeMo Switchyard также является новым продуктом, не имеющим прямых аналогов в линейке Nvidia. Он интегрируется с другими компонентами экосистемы NeMo, такими как NeMo Guardrails для контроля безопасности и NeMo Evaluator для тестирования моделей, что позволяет создавать комплексные решения для агентного ИИ.

Как это работает

Nemotron 3.5 Lightning работает как обычная языковая модель, но с улучшенной поддержкой вызова функций и структурированного вывода. При получении запроса модель может определять, когда необходимо обратиться к внешнему инструменту или API, и формировать соответствующие вызовы. Это позволяет агенту выполнять задачи, требующие доступа к базам данных, веб-сервисам или другим системам.

NeMo Switchyard предоставляет среду выполнения для таких агентов. Она управляет жизненным циклом агента, распределяет задачи между несколькими экземплярами модели, обеспечивает отказоустойчивость и собирает метрики для анализа производительности. Разработчики могут описывать конвейеры агентов с помощью простых конфигурационных файлов, что ускоряет процесс разработки и развертывания.

Технические подробности и производительность

По данным Nvidia, Nemotron 3.5 Lightning демонстрирует впечатляющие результаты в бенчмарках, таких как AgentBench и ALFWorld. В тестах на планирование и выполнение действий модель превосходит многие более крупные модели, включая некоторые версии GPT-4, при этом работая в несколько раз быстрее. Например, на задачах, связанных с навигацией по веб-сайтам и заполнением форм, Lightning достигает точности 85%, тогда как предыдущая версия Nemotron 3.5 показывала 75%.

С точки зрения скорости, Lightning способна обрабатывать до 5000 токенов в секунду на одном GPU A100, что в 2,5 раза быстрее, чем стандартная модель Nemotron 3.5. Это достигается за счет оптимизации архитектуры и использования техник квантования, которые уменьшают размер модели без значительной потери качества.

Кого затронет и как

Новые технологии Nvidia будут полезны разработчикам и компаниям, создающим ИИ-агентов для автоматизации бизнес-процессов. Например, в сфере обслуживания клиентов агенты могут самостоятельно обрабатывать запросы, обращаясь к базам знаний и системам бронирования. В финансовой отрасли агенты способны анализировать рыночные данные и генерировать отчеты. Благодаря снижению требований к вычислительным ресурсам, такие решения становятся доступными для средних и малых предприятий, которые ранее не могли позволить себе внедрение агентного ИИ.

Для российского рынка это также открывает новые возможности: локальные компании смогут развертывать агентные системы на собственном оборудовании, не прибегая к облачным сервисам, что особенно актуально в условиях ограничений на использование зарубежных облаков. Однако стоит отметить, что технологии Nvidia пока не полностью локализованы, и для их использования может потребоваться адаптация под русскоязычные данные.

Что будет дальше

Nvidia планирует активно развивать направление агентного ИИ. Ожидается, что Nemotron 3.5 Lightning будет доступна в рамках платформы NeMo начиная с конца 2025 года. Компания также работает над интеграцией этих технологий с другими своими продуктами, такими как Omniverse для симуляции и Isaac для робототехники. В будущем можно ожидать появления более специализированных моделей для конкретных отраслей, а также улучшения инструментов оркестрации.

Итог

Nvidia делает ставку на агентный ИИ, предлагая решения, которые снижают барьеры для его внедрения. Nemotron 3.5 Lightning и NeMo Switchyard — это шаг к тому, чтобы ИИ-агенты стали обычным инструментом для бизнеса, а не экзотикой. Для разработчиков и компаний, следящих за трендами в области ИИ, эти технологии стоит изучить уже сейчас, чтобы быть готовыми к следующему этапу автоматизации.