Vercel AI Gateway теперь поддерживает голосовые и аудиомодели: что это значит для разработчиков

Vercel объявил о добавлении поддержки голосовых и аудиомоделей в свой AI Gateway. Это означает, что разработчики теперь могут создавать голосовых агентов реального времени, генерировать речь из текста и транскрибировать аудио в текст через единый интерфейс. Ранее AI Gateway поддерживал только текстовые, графические и видеомодели, что оставляло пробел для тех, кто хотел создавать голосовые интерфейсы. Теперь этот пробел закрыт, и разработчики могут интегрировать все необходимые функции без использования нескольких отдельных сервисов.

Почему это важно Добавление голосовых и аудиомоделей в AI Gateway значительно упрощает разработку голосовых ассистентов, систем транскрипции и озвучивания контента. Раньше для создания голосового интерфейса приходилось подключать разные API для распознавания речи, синтеза и управления диалогом, что усложняло архитектуру и увеличивало время разработки. Теперь все эти возможности доступны через единый интерфейс AI Gateway, который уже знаком многим разработчикам на Vercel. Это особенно полезно для стартапов и компаний, которые хотят быстро создавать и развертывать AI-приложения с голосовым управлением.

Какие новые возможности появились Новые возможности включают три типа операций. Первый — голосовые агенты реального времени, где модель принимает аудио на вход и выдает аудио на выход с низкой задержкой. Это позволяет создавать интерактивные голосовые диалоги, например, для чат-ботов или виртуальных помощников. Второй — синтез речи из текста с выбором голоса и формата, например MP3. Это пригодится для озвучивания контента, создания аудиокниг или генерации голосовых уведомлений. Третий — транскрипция аудио в текст из файлового буфера, base64 или URL. Это полезно для систем автоматического распознавания речи, субтитров или анализа звонков.

Как это работает Все функции доступны через AI Gateway с теми же возможностями наблюдаемости, контроля расходов и поддержки собственных ключей (bring-your-own-key). Vercel не взимает дополнительных наценок или платформенных комиссий за использование этих моделей. Для начала работы предоставлены примеры кода: серверный маршрут для выдачи временного токена и клиентский хук useRealtime, который управляет WebSocket-соединением, захватом микрофона и воспроизведением. Это позволяет быстро интегрировать голосовые функции в существующие проекты на Next.js или других фреймворках, поддерживаемых Vercel.

Какие модели голоса и речи поддерживаются? На данный момент Vercel не раскрывает полный список поддерживаемых моделей, но ссылается на документацию, где перечислены доступные провайдеры. Известно, что поддерживаются популярные сервисы, такие как OpenAI Whisper для транскрипции и ElevenLabs для синтеза речи. Однако точный перечень может меняться, поэтому разработчикам рекомендуется проверять актуальную информацию в официальной документации.

Кого затронет это обновление Прежде всего, это обновление затронет разработчиков, создающих голосовые интерфейсы, чат-ботов, системы транскрипции и озвучивания. Особенно полезно для стартапов и компаний, использующих Vercel для развертывания AI-приложений. Благодаря единому интерфейсу, команды могут сократить время разработки и снизить сложность интеграции. Кроме того, это открывает возможности для создания новых продуктов, таких как голосовые помощники для сайтов, системы автоматического перевода с голосом или интерактивные голосовые меню.

Что пока неизвестно Несмотря на анонс, остается несколько неясных моментов. Во-первых, не указаны точные сроки выхода из бета-версии — текущая поддержка голосовых и аудиомоделей помечена как бета. Во-вторых, нет информации о возможных ограничениях по регионам или языкам. Например, может ли транскрипция работать с любым языком или только с английским? Также не раскрыты детали о том, какие именно модели голоса, речи и транскрипции поддерживаются — хотя есть ссылка на список, он может быть неполным. Разработчикам стоит следить за обновлениями документации и блога Vercel.

Как начать использовать Чтобы начать использовать новые возможности, разработчикам нужно зарегистрироваться на Vercel и получить доступ к AI Gateway. Затем можно подключить свои ключи от провайдеров голосовых моделей (например, OpenAI или ElevenLabs) и использовать API для синтеза, транскрипции или создания голосовых агентов. Vercel предоставляет примеры кода, которые помогут быстро интегрировать функции в приложение. Для голосовых агентов реального времени потребуется настроить WebSocket-соединение, но примеры упрощают этот процесс.

Заключение Добавление голосовых и аудиомоделей в Vercel AI Gateway — это значительный шаг вперед для платформы. Разработчики теперь могут создавать полноценные голосовые интерфейсы без необходимости интеграции нескольких сервисов. Это упрощает разработку, снижает затраты и ускоряет вывод продуктов на рынок. Хотя некоторые детали остаются нераскрытыми, уже сейчас можно начать экспериментировать с новыми возможностями. Если вы создаете голосовые приложения на Vercel, это обновление стоит изучить.