Vercel Observability: новые инструменты для отслеживания верифицированных ботов

Платформа Vercel расширила функциональность Observability, добавив возможность просматривать и запрашивать данные о верификации ботов. Это нововведение позволяет разработчикам точнее анализировать входящий трафик, отличать легитимных ботов от поддельных и выявлять подозрительную активность. Теперь в

Три новых измерения для анализа ботов

Vercel проверяет каждый запрос на предмет ботов. Если запрос утверждает, что исходит от проверенного источника, платформа сверяет его с собственным каталогом верифицированных ботов и проверяет по строгим критериям. В новом релизе добавлены три измерения: Bot name позволяет идентифицировать конкретного бота, например Googlebot или Bingbot. Bot category группирует ботов по типу: поисковые системы, мониторинг, социальные сети и другие. Bot verified различает верифицированных, поддельных и непроверяемых ботов. Кроме того, на панели Edge Requests теперь отображаются значки верификации рядом с именами ботов. Все пользователи могут видеть эти значки, а подписчики Observability Plus могут запрашивать данные без дополнительной платы.

Предыстория и контекст

Проблема ботов в вебе не нова. По разным оценкам, от тридцати до пятидесяти процентов всего интернет-трафика генерируется ботами. Среди них есть как полезные, например поисковые роботы и мониторинг, так и вредоносные: сканеры, парсеры, DDoS-боты. Различие между ними критически важно для владельцев сайтов. Ошибочная блокировка легитимного бота может ухудшить SEO, а пропуск вредоносного привести к утечке данных или перегрузке сервера. Vercel уже давно предоставляет инструменты для анализа трафика, но до сих пор данные о ботах были ограничены. Новые измерения дают разработчикам более детальную картину, позволяя точнее настраивать правила фильтрации и оптимизировать производительность.

Как Vercel определяет верифицированных ботов?

Когда запрос поступает на Edge Network Vercel, платформа проверяет его заголовки и IP-адрес. Если запрос утверждает, что он от известного бота, например Googlebot, Vercel выполняет обратный DNS-запрос и сверяет IP с публичными списками. Если проверка проходит успешно, боту присваивается статус verified. Если запрос подделывает идентификацию бота, например использует User-Agent Googlebot, но IP не совпадает, он помечается как spoofed. Если бот не удается идентифицировать, он получает статус unverifiable. Такая система помогает отсеивать поддельные запросы и защищать ресурсы.

Технические подробности

Новые измерения доступны в конструкторе запросов Observability при анализе Edge Requests. Пользователи могут создавать дашборды и алерты на основе этих данных. Например, можно настроить уведомление, если количество поддельных ботов превышает определенный порог. Также можно сегментировать трафик по категориям ботов, чтобы понять, какие из них наиболее активны. Для разработчиков, использующих Vercel для проектов с высокими требованиями к безопасности, это особенно важно. Возможность отличать настоящий Googlebot от поддельного помогает защитить контент и избежать ненужных блокировок.

Кого затронет и как

Нововведение в первую очередь полезно разработчикам и администраторам сайтов, развернутых на Vercel. Они смогут улучшить аналитику трафика, понимая, какие боты посещают сайт. Выявлять подозрительную активность, например массовые запросы от непроверенных ботов. Оптимизировать кэширование и правила edge-функций на основе данных о ботах. Для владельцев сайтов с высоким трафиком, таких как новостные порталы или интернет-магазины, это может снизить нагрузку на серверы и улучшить пользовательский опыт. Российским разработчикам, использующим Vercel, стоит обратить внимание на эту функцию, так как она помогает бороться с нежелательным трафиком, который может быть особенно активен в регионе.

Что будет дальше

Vercel, вероятно, продолжит расширять возможности Observability. В будущем можно ожидать добавления новых категорий ботов, интеграции с внешними сервисами кибербезопасности и более тонкой настройки правил обработки. Пока что функция доступна всем пользователям для просмотра значков, а для запросов только подписчикам Observability Plus. Возможно, в будущем Vercel сделает эту возможность бесплатной для всех.

Итог

Новые инструменты для верификации ботов в Vercel Observability — это важный шаг к прозрачности трафика. Разработчики получают возможность отличать легитимные боты от поддельных, что помогает защитить сайты и улучшить аналитику. Следите за обновлениями: эта функция может стать стандартом для платформ развертывания.