Рынок контента переходит от просьб к шлагбаумам

Patreon перестал уговаривать ИИ-ботов и начал их блокировать. Попытки доступа известных краулеров упали с тысяч запросов в неделю до нуля. Годами платформа полагалась на robots.txt — джентльменское соглашение из девяностых, где сайт вежливо просит - сюда не ходи, туда ходи снег башка попадет. Часть ИИ-компаний эти просьбы просто игнорировала. Отдельные краулеры молотили контент создателей тысячами запросов, не спрашивая никого.

Теперь Patreon включил активную сетевую блокировку через Cloudflare. При этом поисковые боты, которые приводят авторам аудиторию, работают как работали. Разделение важное, не «закрыться от всех», а «отрезать тех, кто берёт и ничего не возвращает».

Самое интересное это тот факт, что Cloudflare строит вокруг этого рынок. С 2024-го они дают сайтам блокировать ИИ-ботов, с 2025-го тестируют Pay Per Crawl, владелец контента сам решает - пустить бесплатно, запретить или назначить цену за каждую спаршенную страницу. Cloudflare агрегирует платежи и распределяет выручку паблишерам.

Считаю, это важный прецедент. Согласие автора не должно зависеть от того, соизволит ли краулер соблюдать правила хорошего тона. Пока доступ к контенту был вопросом этикета, обучающие данные доставались бесплатно. Появляется новый, весьма перспективный рынок.

Для наших платформ и медиахолдингов вопрос уже не в том, парсят ли их, парсят точно. Вопрос в том, кто первым превратит этот трафик в строку выручки, пока что примеров не слышно.