Массовое уничтожение книг для обучения ИИ: расследование и последствия

В мире набирает обороты тревожный тренд: миллионы книг физически уничтожаются ради обучения искусственного интеллекта. Речь не о том, что печатные издания устаревают морально, а о реальной утилизации тиражей: компании, разрабатывающие ИИ, скупают книги оптом и отправляют их в шреддер, чтобы использовать текст как данные для обучения моделей. Эту информацию подтвердил представитель Anthropic — создателя языковой модели Claude — в беседе с Tom's Guide. Масштабы явления поражают: по данным расследования The Atlantic, за последние годы было уничтожено не менее миллиона книг. В этой статье разберем, зачем это делается, какие юридические и этические проблемы возникают и что это значит для авторов, читателей и будущего литературы.

Почему компании уничтожают книги ради ИИ

Главная причина — стремление избежать обвинений в нарушении авторских прав. Использование цифровых копий книг без разрешения правообладателей уже привело к судебным искам, например, иску Гильдии авторов против OpenAI. Физическое уничтожение книг позволяет компаниям утверждать, что они не распространяют контент, а лишь извлекают информацию, что, по их мнению, подпадает под доктрину добросовестного использования. Однако на деле процесс выглядит так: компания закупает тысячи экземпляров, сканирует страницы автоматизированными системами, а затем отправляет бумагу в переработку. Сканы превращаются в текстовые файлы, которые и используются для обучения языковых моделей. Таким образом, уничтожение книг — это не необходимость, а способ обойти юридические барьеры.

По данным The Atlantic, в этой схеме участвуют не только мелкие издательства, но и крупные игроки, включая Amazon, который предоставляет доступ к своим складам для оптовых закупок. Компании, занимающиеся сбором данных для ИИ, такие как Books3 (использованный Meta для обучения LLaMA), уже давно работают по такой схеме. Стоит отметить, что закупка книг для сканирования — это не новшество: еще в 2021 году исследователи обнаружили, что датасет Books3, содержащий более 180 тысяч книг, был собран без разрешения авторов и использовался для обучения нескольких моделей. Тогда это вызвало скандал, но практика не изменилась.

Какие юридические риски возникают у компаний?

Юридические риски для компаний, уничтожающих книги, значительны. Авторы и издатели могут подавать иски о нарушении авторских прав, и уже есть прецеденты: Гильдия авторов подала иски против OpenAI и Meta. Если суды признают, что сканирование и использование книг для обучения ИИ не является добросовестным использованием, компаниям грозят крупные штрафы и запреты на использование таких данных. Однако пока судебная практика неоднозначна, и компании продолжают искать лазейки. Некоторые эксперты считают, что физическое уничтожение книг может быть расценено как уничтожение доказательств, что усугубит положение компаний в суде. В то же время, если компании смогут доказать, что они закупили книги легально и использовали их в рамках добросовестного использования, они могут избежать ответственности.

Предыстория и контекст

Проблема использования книг для обучения ИИ не нова. Еще в 2019 году исследователи из OpenAI использовали книги для обучения GPT-2, но тогда это не вызвало широкого резонанса. Ситуация обострилась с ростом конкуренции между разработчиками ИИ. Компании нуждаются в огромных объемах качественных текстов, чтобы обучать модели, способные генерировать связные и информативные ответы. Книги — один из лучших источников, так как они содержат структурированный и проверенный контент. Однако уничтожение физических книг вызывает вопросы не только с юридической, но и с культурной точки зрения. Книги — это не просто носители информации, но и часть культурного наследия. Их массовое уничтожение ради обучения алгоритмов выглядит как кощунство, особенно в свете того, что многие из них уже оцифрованы и доступны в электронном виде.

Что это значит для авторов и читателей?

Для авторов это прямая угроза их доходам: они не получают роялти за использование своих произведений в обучении ИИ. Кроме того, уничтожение книг сокращает тиражи, что делает издания редкими и дорогими для коллекционеров и библиотек. Для читателей последствия двоякие: с одной стороны, развитие ИИ может привести к созданию более умных помощников, которые смогут отвечать на вопросы, ссылаясь на книги. С другой стороны, уничтожение книг лишает будущие поколения доступа к оригинальным изданиям, которые могут содержать уникальные иллюстрации, шрифты и другие особенности, не передаваемые в цифровом виде. Например, старинные книги с ручными иллюстрациями или особым набором шрифтов могут быть утрачены навсегда.

Технические подробности и финансовые аспекты

Процесс уничтожения книг для обучения ИИ включает несколько этапов: закупка, сканирование, распознавание текста и переработка бумаги. Сканирование обычно выполняется с помощью высокоскоростных сканеров, способных обрабатывать тысячи страниц в час. Затем текст проходит через OCR (оптическое распознавание символов) и очищается от ошибок. Стоимость такой операции варьируется: одна книга может обойтись компании в 10–20 долларов, включая закупку и обработку. При миллионе книг это составляет 10–20 миллионов долларов — значительная сумма, но для крупных технологических гигантов это приемлемо, учитывая, что качественные данные стоят дорого. Сравнение с конкурентами показывает, что все крупные игроки используют подобные методы. OpenAI и Meta уже сталкивались с критикой за использование пиратских датасетов, но продолжают это делать. Anthropic, судя по всему, пытается легализовать процесс, закупая книги официально, но это не решает проблему уничтожения тиражей.

Кого затронет и как

Разработчики ИИ получат более качественные модели, но ценой репутационных рисков и возможных судебных исков. Издатели и авторы потеряют часть доходов и контроля над своими произведениями. Библиотеки и архивы столкнутся с сокращением доступных физических копий, что затруднит сохранение культурного наследия. В России и СНГ эта проблема пока менее заметна, но уже появляются локальные инициативы по сбору данных для ИИ, которые могут пойти по тому же пути. Например, некоторые стартапы уже скупают книги на маркетплейсах и в букинистических магазинах для обучения моделей русского языка. Это вызывает обеспокоенность у российских авторов и издателей, которые опасаются повторения западных сценариев.

Что будет дальше

Ожидается, что юридические баталии вокруг использования книг для обучения ИИ продолжатся. Гильдия авторов уже подала иски против OpenAI и Meta, и в ближайшее время могут появиться новые иски против Anthropic. Суды могут вынести решения, которые либо запретят использование книг без разрешения, либо, наоборот, признают это добросовестным использованием. В любом случае, практика уничтожения книг вряд ли прекратится в ближайшее время, так как компании будут искать лазейки. Возможно, будет разработан механизм лицензирования, который позволит использовать книги без физического уничтожения, но пока его нет. Некоторые эксперты предлагают создать открытые библиотеки оцифрованных книг, которые можно было бы использовать для обучения ИИ без ущерба для авторов, но это требует международного соглашения и финансовой поддержки.

Итог

Уничтожение миллионов книг ради обучения ИИ — тревожный симптом того, что технологический прогресс идет вразрез с культурными и юридическими нормами. Пока компании находят способы обходить авторские права, авторы и читатели остаются в проигрыше. Следить за развитием этой ситуации важно всем, кто интересуется будущим литературы и технологий. Возможно, в ближайшие годы мы станем свидетелями крупных судебных разбирательств, которые определят, как будет развиваться эта сфера. Но уже сейчас ясно: бездумное уничтожение книг — это не выход, и человечеству предстоит найти баланс между инновациями и сохранением культурного наследия.