Компания Cloudflare начала блокировать ИИ-сканеры по умолчанию, и это настоящая революция в интернете. 39% самых популярных сайтов мира атаковали боты искусственного интеллекта, но только 2,98% владельцев веб-сайтов пытались их остановить. Теперь все кардинально изменилось.
ИИ-сканеры генерируют более 50 миллиардов запросов ежедневно только в сети Cloudflare – это почти 1% от всего интернет-трафика. Представьте себе масштаб этой невидимой армии роботов, которые непрерывно поглощают контент для обучения ChatGPT, Claude и других систем искусственного интеллекта.
Самое интересное то, что компания запустила программу "Плати за сканирование". Издатели теперь могут устанавливать цену за доступ ИИ-роботов к своему контенту. The Associated Press, The Atlantic, Fortune и Stack Overflow уже присоединились к этой инициативе.
Боты пожирают интернет
Проект Read the Docs сэкономил 1500 долларов в месяц, заблокировав ИИ-сканеры – их трафик упал с 800 ГБ до 200 ГБ ежедневно. Такие цифры заставляют задуматься об истинной стоимости "бесплатного" обучения искусственного интеллекта.
16% вредоносного трафика в 2024 году генерировали именно ИИ-сканеры типа GPTBot, ClaudeBot и AppleBot. Это привело к росту недействительного трафика на 86%, что стоит бизнесу миллионы долларов.
Cloudflare также создала "ИИ-лабиринт" – хитрую ловушку, которая кормит роботов фальшивым контентом вместо блокировки. Когда система обнаруживает несанкционированное сканирование, она направляет бота на серию ИИ-генерированных страниц, которые выглядят убедительно, но тратят время и ресурсы сканера.
Эта битва только начинается. Издатели контента наконец осознали, что их работа питает многомиллиардную индустрию ИИ без всякой компенсации. Мэтью Принс, генеральный директор Cloudflare, назвал 1 июля "Днем независимости контента" – исторической датой, когда интернет начал защищать создателей от цифровых паразитов.
