Zo Computer увеличил надежность AI в 20 раз на Vercel: как им это удалось

Стартап Zo Computer, разрабатывающий персональное AI-облако для потребителей, добился 20-кратного повышения надежности своих AI-сервисов после перехода на платформу Vercel. Частота повторных запросов снизилась с 7,5% до 0,34%, а успешность чатов выросла с 98% до 99,93%. Это стало возможным благодаря внедрению AI SDK и AI Gateway от Vercel, которые автоматизировали маршрутизацию, кэширование и обработку ошибок. В статье разбираем, как именно Zo удалось достичь таких результатов и что это значит для разработчиков AI-приложений.

Как Zo Computer построил персональное AI-облако на Vercel

Zo Computer — это стартап, который предлагает потребителям собственное облачное окружение с AI-агентом, работающим круглосуточно. В отличие от обычных чат-ботов, Zo предоставляет полноценную вычислительную среду: пользователи могут управлять малым бизнесом, проводить исследования, вести финансы и отслеживать здоровье. Компания насчитывает 8 сотрудников и ставит амбициозную цель — привлечь миллион новых пользователей к 2026 году. Для этого требуется обрабатывать миллионы AI-запросов ежедневно с высокой скоростью и надежностью.

Zo поддерживает подключение любых моделей AI, включая OpenAI, Anthropic, MiniMax, GLM, Fireworks, а также позволяет пользователям приносить собственные ключи API. До миграции на Vercel команда писала отдельный адаптер для каждого провайдера, что усложняло код и замедляло добавление новых моделей. Проблемы с повторными запросами, маршрутизацией и обработкой ошибок ложились на плечи разработчиков.

Предыстория и контекст: почему Zo решил перейти на Vercel

До перехода на Vercel Zo использовал собственную инфраструктуру, где каждый новый провайдер требовал написания уникального кода для обработки изображений, управления ключами и обработки крайних случаев. Это приводило к высокой частоте ошибок и повторных запросов — до 7,5% всех вызовов. Команда тратила значительное время на ручное управление очередями и fallback-логику. С ростом числа пользователей стало очевидно, что такой подход не масштабируется.

Vercel предложил два ключевых инструмента: AI SDK (Software Development Kit) и AI Gateway. AI SDK унифицирует интерфейс для вызова различных AI-моделей, а AI Gateway предоставляет единую точку входа с автоматической маршрутизацией, кэшированием, повторными попытками и балансировкой нагрузки. Для Zo это означало отказ от кастомных адаптеров и переход на единую интеграцию.

Как AI SDK и AI Gateway работают вместе

AI SDK от Vercel — это библиотека с открытым исходным кодом, которая позволяет разработчикам вызывать любую AI-модель через единый API. Она абстрагирует различия между провайдерами, такие как форматы запросов, обработка изображений и управление ключами. AI Gateway, в свою очередь, выступает в роли прокси-сервера: он принимает запросы, направляет их к нужному провайдеру, управляет повторными попытками при сбоях и кэширует ответы для снижения задержек. Вместе они образуют два слоя, которые Zo использует для всех AI-вызовов.

По словам Чунга, интеграция заняла всего несколько дней. После этого добавление новой модели стало занимать менее минуты — достаточно указать провайдера и модель в конфигурации. AI Gateway автоматически обрабатывает ошибки, таймауты и переключение на резервные модели, что резко снизило нагрузку на команду.

Технические детали: как Zo добился 20-кратного улучшения надежности

Ключевым показателем стал retry rate — доля запросов, которые требовали повторной отправки из-за ошибок. До миграции он составлял 7,5%, что означало, что каждый 13-й запрос завершался неудачей. После внедрения AI Gateway retry rate упал до 0,34% — улучшение в 22 раза. Успешность чатов выросла до 99,93%, то есть лишь 0,07% запросов завершались ошибкой.

Снижение задержек также впечатляет: средняя задержка уменьшилась на 25,7%, а P99 — на 38%. Это стало возможным благодаря кэшированию на уровне AI Gateway: повторяющиеся запросы (например, одинаковые промпты от разных пользователей) обслуживаются из кэша, минуя API провайдера. Кроме того, AI Gateway автоматически выбирает наиболее быстрого провайдера для каждого запроса, распределяя нагрузку.

Zo также использует функцию fallback: если один провайдер недоступен, запрос автоматически перенаправляется к другому без участия разработчика. Это особенно важно для поддержания высокой доступности сервиса.

Кого затронет и как: что это значит для разработчиков и пользователей

Для разработчиков AI-приложений опыт Zo демонстрирует, что использование специализированных инструментов, таких как AI SDK и AI Gateway, может кардинально упростить интеграцию с множеством провайдеров и повысить надежность без увеличения штата. Вместо написания десятков адаптеров достаточно одного слоя абстракции.

Для пользователей Zo улучшение означает более быстрые и надежные ответы AI-агента. Если раньше каждый 50-й запрос мог завершиться ошибкой, теперь — лишь каждый 1400-й. Это критически важно для сценариев, где Zo используется для управления бизнесом или финансами.

Российским и СНГ-разработчикам, которые работают с зарубежными AI-провайдерами, стоит обратить внимание на AI Gateway как способ снизить задержки и повысить отказоустойчивость, особенно при использовании нескольких моделей.

Что будет дальше

Zo Computer планирует масштабироваться до миллиона пользователей в 2026 году. С текущей инфраструктурой на Vercel компания готова к росту: AI Gateway автоматически масштабируется, а добавление новых моделей занимает минуты. В будущем Zo может расширить поддержку провайдеров и внедрить более сложную логику маршрутизации на основе стоимости и качества ответов.

Роб Чунг отмечает, что Vercel позволил команде сосредоточиться на продукте, а не на инфраструктуре. Вероятно, другие стартапы последуют примеру Zo и будут активнее использовать готовые решения для AI-оркестрации.

Итог

Zo Computer наглядно показал, что правильный выбор инструментов может улучшить надежность AI-сервисов на порядок. Интеграция AI SDK и AI Gateway от Vercel позволила снизить retry rate в 20 раз, повысить успешность чатов до 99,93% и сократить задержки. Для стартапа, стремящегося к миллиону пользователей, это не просто оптимизация — это необходимое условие для масштабирования.