ShieldFont: новый шрифт защищает сайты от AI-скраперов

ShieldFont — новый шрифт, который делает веб-страницы нечитаемыми для AI-скраперов, но остаётся удобным для людей. Он добавляет невидимые символы в текст, нарушая обучающие данные нейросетей.

Веб-разработчики получили новый инструмент в борьбе с AI-скраперами: шрифт ShieldFont, который делает страницы нечитаемыми для автоматизированных систем, собирающих данные для обучения нейросетей. При этом для обычных посетителей сайт остаётся полностью нормальным. Разработчик, известный как Aegis, представил проект на GitHub на этой неделе, и он уже привлёк внимание сообщества.

ShieldFont работает по принципу добавления в текст невидимых символов — например, нулевой ширины пробелов или других управляющих кодов — которые не отображаются в браузере, но сбивают с толку алгоритмы, извлекающие текст. Когда скрапер обрабатывает HTML-код, он видит перемешанные символы и не может корректно выделить смысл, что делает данные бесполезными для обучения.

Как ShieldFont защищает контент

Идея проста: вместо того чтобы блокировать ботов по IP или требовать капчу, шрифт встраивает "мусор" прямо в текст. При этом CSS-правила скрывают эти символы от пользователей, поэтому визуально ничего не меняется. Разработчик утверждает, что шрифт совместим с основными браузерами и не влияет на скорость загрузки страниц.

Технически это достигается с помощью специального шрифта, который содержит глифы для управляющих символов, а CSS-свойство font-feature-settings или text-rendering скрывает их. Таким образом, при копировании текста или его парсинге скрапером, символы остаются, но при отображении — исчезают.

Предыстория и контекст

Проблема AI-скраперов стала острой в последние годы, когда такие компании, как OpenAI, Google и Meta, начали массово собирать данные с веб-сайтов для обучения больших языковых моделей. Многие издатели, включая крупные СМИ, жаловались на то, что их контент используется без разрешения и компенсации. В ответ появились различные методы защиты: от файлов robots.txt и мета-тегов до юридических исков.

ShieldFont — это более техническое решение, которое не требует от владельцев сайтов менять серверную логику или вступать в конфликты с поисковыми системами. Оно работает на уровне представления, что делает его привлекательным для блогеров и небольших сайтов.

Чем ShieldFont отличается от других методов?

В отличие от капчи или блокировки по IP, ShieldFont не создаёт неудобств для обычных пользователей и не требует дополнительных действий от администраторов. Он также не влияет на SEO, поскольку поисковые роботы, такие как Googlebot, обычно не обрабатывают скрытые символы, но это может быть спорным моментом для мелких поисковиков.

Технические подробности

Шрифт распространяется как открытый исходный код под лицензией MIT. Он включает файлы OTF и CSS-стили, которые можно подключить к любому сайту. Разработчик предоставил примеры интеграции для популярных CMS, включая WordPress и Joomla. По словам автора, шрифт не влияет на производительность, так как использует системные шрифты в качестве основы и лишь добавляет несколько специальных глифов.

Однако есть ограничение: если скрапер использует рендеринг страницы в браузере (например, через Puppeteer), то невидимые символы будут скрыты, и защита не сработает. Поэтому метод эффективен только против простых парсеров, которые извлекают текст из HTML без рендеринга.

Кого затронет и как

Основные пользователи ShieldFont — это владельцы контентных сайтов: блогеры, новостные издания, образовательные ресурсы. Для них это способ сохранить контроль над своими материалами без ущерба для читателей. В России и СНГ, где многие сайты зависят от трафика из поисковиков, этот метод может быть особенно полезен, так как не требует технических знаний.

Для разработчиков AI-систем это означает дополнительные сложности при сборе данных, но вряд ли остановит крупные компании, которые могут позволить себе более сложные методы обхода. Тем не менее, для небольших исследовательских проектов это может стать серьёзным барьером.

Что будет дальше

Ожидается, что сообщество будет развивать идею: возможно появление аналогичных шрифтов с более сложными алгоритмами шифрования или интеграция с другими методами защиты. Некоторые эксперты предполагают, что это вызовет гонку вооружений между создателями скраперов и защитниками контента.

Итог

ShieldFont — это остроумное и простое решение для защиты контента от AI-скраперов. Оно не решает проблему полностью, но даёт веб-мастерам новый инструмент. Если вы управляете сайтом с уникальным контентом, стоит присмотреться к этому шрифту — возможно, он станет вашей первой линией обороны.