Vercel добавила отдельную страницу логов для AI Gateway

Как сообщает Vercel Blog, в сервисе AI Gateway появилась выделенная страница для отслеживания всех запросов, проходящих через шлюз. Инструмент отображает данные о стоимости, токенах, задержке, провайдерах и моделях на уровне команд и проектов.

В сервисе AI Gateway от компании Vercel появилась выделенная страница для работы с логами, которая выводит все запросы пользователей в хронологическом порядке, начиная с самых свежих. Новая панель доступна как на уровне всей команды, так и для отдельных проектов. Для каждого запроса система фиксирует его стоимость, точное количество потраченных токенов, общую длительность выполнения, а также модель, провайдера и географический регион, которые участвовали в обработке. Клик по любой строке открывает подробную информацию о маршрутизации и деталях вызова.

Предыстория и контекст

Разработка современных веб-приложений с использованием языковых моделей требует постоянного контроля за расходами и производительностью API. Раньше разработчикам приходилось собирать разрозненные данные о вызовах искусственного интеллекта из разных источников, что усложняло отладку сбоев и оптимизацию затрат на инфраструктуру. Появление централизованных инструментов логирования в облачных платформах помогает инженерам быстрее находить узкие места и управлять маршрутизацией трафика между различными провайдерами.

Как работает фильтрация и поиск запросов?

Интерфейс новой страницы позволяет сортировать данные по провайдерам, используемым моделям, модальности, учетным данным и статусу ответов. Доступен текстовый поиск по идентификатору запроса, модели или провайдеру для быстрого перехода к нужной записи. Каждое состояние фильтрации сохраняется в URL-адресе, что позволяет делиться точным срезом данных с коллегами. В верхней части страницы расположена интерактивная диаграмма запросов, диапазон которой можно изменять с помощью мыши.

Технические подробности и анализ вызовов

При детальном изучении отдельного запроса система показывает общую стоимость, а также подробную разбивку токенов для входных, выходных данных, процесса рассуждения и операций с кешем. Инструмент фиксирует общую длительность выполнения, время до получения первого токена, а также проверяет применение политики нулевого удержания данных и региональных ограничений. Путь резервного копирования отображает каждую попытку обращения к провайдерам в порядке очереди с указанием статуса ответа, задержки и конкретной причины сбоя, такой как тайм-аут или исчерпание бюджета маршрутизации. Полученные данные можно в любой момент выгрузить в форматах CSV или JSON с применением всех активных фильтров.

Кого затронет и как

Обновление ориентировано на разработчиков, инженерные команды и администраторов проектов, которые используют AI Gateway для интеграции языковых моделей в свои программные продукты. Инструмент дает возможность детально контролировать бюджеты на вызовы API, проводить аудит безопасности и отслеживать корректность работы резервных маршрутов при сбоях у основных поставщиков искусственного интеллекта.

Что будет дальше

Платформа продолжает развивать инструменты для работы с инфраструктурой искусственного интеллекта, расширяя возможности мониторинга и аналитики для разработчиков. Ожидается, что компания продолжит совершенствовать функции отладки и управления трафиком в рамках экосистемы Vercel.

Итог

Появление выделенной страницы логов в AI Gateway делает мониторинг ИИ-запросов на платформе Vercel более прозрачным и управляемым. Инженеры получили встроенный инструмент для анализа затрат и производительности без необходимости использования сторонних решений.