ИИ-компании массово скупают и уничтожают книги
404 Media опубликовало статью, бросающую серьёзную тень на все современные ИИ-компании.
Согласно статье, ИИ-компании начали массово скупать старые бумажные книги, потому что они считаются одним из последних крупных источников «чистого» текста, написанного людьми, а не нейросетями.
Особую ценность представляют книги, изданные до 2022 года, поскольку они гарантированно не содержат сгенерированного ИИ-контента. Это позволяет избежать ситуации, при которой ИИ-модели обучаются на результатах работы других ИИ.
Компания ISBNdb, к примеру, предлагает ИИ-лабораториям услуги по покупке от 1 000 до 1 млн книг за заказ, после чего книги сканируются и превращаются в обучающие данные.
Чтобы отсканировать такое количество книг в кратчайщие сроки, их приходится буквально уничтожать — гидравлический резак удаляет каждый корешок. страницы подрезают по размеру и подают как отдельные листы через высокоскоростные промышленные сканеры для преобразования в PDF. Остатки бумаги затем отправляются на переработку.
Anthropic упоминается как пример компании, о которой уже известно из судебных документов, что она массово покупала, разрезала и сканировала бумажные книги для обучения Claude. Компания стремилась сохранить это в тайне.
Другие компании (OpenAI, Google, xAI и другие) в тексте не упоминаются — клиенты ISBNdb не хотят афишировать, что они скупают и уничтожают миллионы книг ради обучения моделей.
Однако Илон Маск уже прокомментировал статью следующим образом:
«Я попросил команду SpaceX AI сохранить любые редкие книги в библиотеке и оцифровать их старомодным способом, вместо того чтобы просто отрезать корешок и сканировать».
Переработка книг в обучающий набор данных для ИИ — похоже, что мы с вами уже живём в антиутопии.