Vercel внедряет Web Bot Auth: криптографическая защита от поддельных ботов

Vercel объявил о поддержке нового протокола верификации ботов — Web Bot Auth, который использует асимметричную криптографию для подтверждения подлинности автоматизированного трафика. Это нововведение позволяет системе Bot Protection от Vercel проверять ботов не только по IP и обратному DNS, но и по криптографической подписи, что особенно важно для динамических и serverless-сред. В результате владельцы сайтов получают более надежный инструмент для отсеивания поддельных ботов, а легитимные автоматизированные сервисы — гарантированный доступ без ложных блокировок.

Новый механизм стал результатом совместной работы Vercel с отраслевыми партнёрами над продвижением IETF-предложения Web Bot Auth. Этот протокол основан на HTTP Message Signatures — стандарте, который позволяет подписывать HTTP-запросы с помощью открытого ключа. Vercel поддерживает активно обновляемый каталог известных ботов, который теперь включает записи с открытыми ключами для верификации. Таким образом, любой легитимный бот, внесенный в каталог, может быть однозначно идентифицирован.

Как работает Web Bot Auth от Vercel

В отличие от традиционной проверки по IP-адресу, которая легко подделывается, Web Bot Auth использует асимметричную подпись. Каждый легитимный бот подписывает свои запросы закрытым ключом, а Vercel проверяет подпись с помощью открытого ключа из своего каталога. Это гарантирует, что трафик действительно исходит от известного бота, а не от злоумышленника, который подделал IP. Протокол особенно полезен для ботов, работающих в динамических или serverless-окружениях, где IP-адреса постоянно меняются.

Например, ChatGPT Operator теперь использует Web Bot Auth для подписи своих запросов, поэтому он распознаётся и пропускается через Bot Protection и Challenge Mode. Vercel также подтвердил, что каталог известных ботов постоянно пополняется и поддерживается в актуальном состоянии. Это означает, что по мере появления новых легитимных ботов они могут быть добавлены в каталог и начать использовать криптографическую верификацию.

Чем Web Bot Auth отличается от предыдущих методов?

Главное отличие — использование асимметричной криптографии вместо статической проверки IP. Раньше Vercel проверял ботов только по IP-адресу и обратному DNS, что не гарантировало подлинность: злоумышленник мог подменить IP или использовать легитимный User-Agent. Web Bot Auth добавляет слой криптографической верификации: запрос подписывается закрытым ключом бота, а Vercel проверяет подпись открытым ключом из доверенного каталога. Это делает подделку практически невозможной.

Кроме того, старые методы часто приводили к ложным срабатываниям, когда легитимные боты блокировались из-за изменения IP-адреса. Новый протокол решает эту проблему, так как подпись не зависит от IP. Таким образом, владельцы сайтов могут быть уверены, что Googlebot, ChatGPT Operator и другие доверенные боты всегда будут иметь доступ к их контенту.

Предыстория и контекст

Проблема верификации ботов становится всё острее с ростом числа AI-агентов и автоматизированных инструментов. Традиционные методы — проверка по IP и reverse DNS — легко обходятся подделкой заголовков User-Agent или использованием прокси. Крупные платформы, такие как Google, OpenAI и Cloudflare, уже ищут более надёжные способы аутентификации ботов. IETF-предложение Web Bot Auth является частью более широкой инициативы по стандартизации подписей HTTP-сообщений.

Vercel, будучи одной из ведущих платформ для развёртывания веб-приложений, активно участвует в этом процессе, чтобы обеспечить безопасность своих клиентов. Ранее компания уже внедрила каталог известных ботов, но без криптографической верификации. Теперь, с добавлением Web Bot Auth, каталог стал по-настоящему надежным инструментом для идентификации ботов.

Какую проблему решает Web Bot Auth для разработчиков?

Для разработчиков, которые используют Vercel для хостинга своих проектов, основная проблема — это баланс между безопасностью и доступностью. С одной стороны, нужно блокировать вредоносных ботов, которые могут воровать контент или проводить атаки. С другой — не блокировать легитимных ботов, таких как поисковые краулеры или AI-агенты, которые приносят пользу. Web Bot Auth позволяет точно идентифицировать ботов, устраняя ложные срабатывания.

Кроме того, для разработчиков ботов нововведение означает необходимость внедрения подписи запросов, если они хотят, чтобы их боты распознавались. Однако процесс интеграции относительно прост: достаточно сгенерировать пару ключей, добавить открытый ключ в каталог Vercel и настроить подпись запросов. Vercel предоставляет подробную документацию по интеграции, что упрощает адаптацию.

Технические детали реализации

Web Bot Auth реализован как часть системы Bot Protection Vercel. Каждый бот, включённый в каталог, получает пару ключей: закрытый ключ для подписи запросов и открытый ключ, который публикуется в каталоге. При каждом запросе бот добавляет заголовок с подписью, созданной по стандарту HTTP Message Signatures. Vercel проверяет подпись, сверяясь с открытым ключом из каталога, и на основе этого принимает решение — пропустить бота, отправить на Challenge Mode или заблокировать.

Для разработчиков ботов процесс прост: достаточно сгенерировать ключи, добавить открытый ключ в каталог Vercel и настроить подпись запросов. Vercel предоставляет документацию по интеграции. Уже сейчас ChatGPT Operator использует этот механизм, что делает его первым крупным AI-ботом, верифицированным через Web Bot Auth. Ожидается, что другие крупные игроки, такие как Google и OpenAI, также внедрят поддержку протокола в ближайшее время.

Кого затронет нововведение

Новая система в первую очередь полезна владельцам сайтов на Vercel, которые хотят защититься от поддельных ботов, но при этом не блокировать легитимные. SEO-краулеры, инструменты мониторинга производительности и AI-агенты, такие как ChatGPT, теперь могут гарантированно получать доступ к сайту без ложных срабатываний Bot Protection. Для разработчиков ботов это означает необходимость внедрения подписи запросов, если они хотят, чтобы их боты распознавались.

Однако для крупных игроков, таких как Google и OpenAI, это стимул поддержать протокол. Российским и СНГ-разработчикам, использующим Vercel для хостинга, стоит обратить внимание на обновление, чтобы не блокировать легитимные AI-боты и краулеры. Для злоумышленников, напротив, это усложняет подделку ботов: теперь недостаточно просто подменить IP или User-Agent — нужен закрытый ключ.

Что будет дальше

Ожидается, что Web Bot Auth станет стандартом де-факто для верификации ботов. Vercel уже сотрудничает с другими платформами и IETF для продвижения протокола. В ближайшее время можно ожидать, что крупные поисковые системы и AI-компании начнут внедрять подпись запросов. Vercel также планирует расширять каталог известных ботов и добавлять новых участников. Вероятно, что в будущем Bot Protection Vercel будет по умолчанию требовать Web Bot Auth для всех ботов, а старые методы проверки станут опциональными. Это повысит безопасность, но потребует адаптации от разработчиков.

Итог

Поддержка Web Bot Auth — значимый шаг в борьбе с поддельными ботами. Криптографическая верификация делает систему защиты Vercel более надёжной и гибкой, особенно для динамических сред. Владельцам сайтов стоит обновить настройки Bot Protection, чтобы использовать новый метод, а разработчикам ботов — готовиться к внедрению подписи запросов. Это нововведение не только повышает безопасность, но и улучшает взаимодействие между сайтами и легитимными автоматизированными сервисами.