AI Gateway от Vercel: как подключить сотни моделей через OpenAI-совместимые эндпоинты

Vercel расширил функциональность AI Gateway, добавив поддержку OpenAI-совместимых API-эндпоинтов. Это значит, что разработчики могут использовать стандартные клиентские библиотеки OpenAI для доступа к сотням моделей от разных провайдеров, изменив лишь URL в коде. Никакого переписывания кода не требу

Что такое AI Gateway и как работает обновление

AI Gateway — это прокси-сервис от Vercel, который предоставляет единый интерфейс для работы с моделями машинного обучения от множества провайдеров: OpenAI, Anthropic, Google, Hugging Face и других. Ранее для подключения к разным моделям приходилось использовать разные API и клиентские библиотеки. С новым обновлением AI Gateway теперь поддерживает формат запросов, совместимый с API OpenAI. Достаточно изменить базовый URL в коде с https://api.openai.com на адрес вашего шлюза, и все вызовы к моделям будут проходить через AI Gateway. Сервис автоматически маршрутизирует запросы к нужному провайдеру, обеспечивает отказоустойчивость и наблюдаемость.

Как это упрощает жизнь разработчикам?

Разработчикам больше не нужно изучать разные API для каждой модели. Библиотека OpenAI — одна из самых популярных в сообществе, и теперь её можно использовать для работы с любым провайдером, подключённым к AI Gateway. Это снижает порог входа для экспериментов с новыми моделями и ускоряет разработку. Например, чтобы переключиться с GPT-4 на Claude от Anthropic, достаточно изменить параметр model в коде, а URL остаётся тем же. AI Gateway сам позаботится о форматировании запроса под специфику провайдера.

Технические детали: как подключить AI Gateway

Для использования AI Gateway с OpenAI-совместимыми эндпоинтами нужно создать шлюз в консоли Vercel и получить его URL. Затем в коде приложения изменить базовый URL клиента OpenAI на этот адрес. Пример на Python:

python from openai import OpenAI

client = OpenAI( apikey='your-api-key', baseurl='https://gateway.ai.vercel.com/v1/your-gateway-id' )

response = client.chat.completions.create( model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello!'}] )

После этого все запросы будут проходить через AI Gateway, который может перенаправлять их к любому поддерживаемому провайдеру, обеспечивать отказоустойчивость и логирование. Аналогичным образом можно настроить клиенты на других языках: JavaScript, Go, Java и т.д.

Какие преимущества даёт AI Gateway?

AI Gateway предоставляет несколько ключевых возможностей. Во-первых, отказоустойчивость: если один провайдер недоступен, Gateway автоматически перенаправляет запрос к другому. Во-вторых, управление квотами и лимитами токенов в минуту — можно настроить правила для разных моделей. В-третьих, наблюдаемость: Gateway логирует все запросы, позволяя отслеживать использование и производительность. Поддержка OpenAI-совместимых эндпоинтов не меняет эти возможности, но делает их доступными с минимальными изменениями в коде.

Кому будет полезно это обновление?

Обновление в первую очередь полезно разработчикам, которые активно используют AI-модели в своих приложениях. Те, кто уже работает с OpenAI, смогут легко подключиться к другим моделям, не меняя код. Это снижает порог входа для экспериментов с разными моделями. Для бизнеса это означает большую гибкость и снижение зависимости от одного провайдера. В России и СНГ, где доступ к некоторым зарубежным AI-сервисам может быть ограничен, AI Gateway может стать способом обхода блокировок, хотя это не является заявленной целью сервиса.

Какие модели доступны через AI Gateway?

Через AI Gateway можно подключать сотни моделей от десятков провайдеров. Среди них: OpenAI (GPT-4, GPT-3.5), Anthropic (Claude), Google (Gemini), Hugging Face (сотни открытых моделей), Replicate, Stability AI и многие другие. Полный список доступных провайдеров и моделей можно найти в документации Vercel. Важно, что для каждой модели нужно указать её идентификатор, который может отличаться от стандартного названия. AI Gateway самостоятельно преобразует запрос в формат, понятный провайдеру.

Будущее AI Gateway и планы Vercel

Vercel продолжает развивать AI Gateway. Ожидается, что в будущем появятся дополнительные функции, такие как поддержка других форматов API (например, Anthropic), улучшенная аналитика и более тонкая настройка маршрутизации. Компания также активно работает над интеграцией с другими своими продуктами, такими как Next.js и Edge Functions. В ближайшее время стоит ожидать роста популярности AI Gateway среди разработчиков, особенно тех, кто ищет простой способ мультипровайдерной работы с AI.

Итог

Поддержка OpenAI-совместимых эндпоинтов в AI Gateway от Vercel — это значительный шаг к унификации доступа к AI-моделям. Разработчики получают возможность использовать сотни моделей без изменения кода, что ускоряет разработку и повышает гибкость. Следите за развитием AI Gateway: этот инструмент может стать стандартом для работы с AI в веб-разработке.