IAB Tech Lab опубликовала рекомендации по управлению ИИ-ботами и веб-краулерами, чтобы помочь издателям и владельцам контента выстроить новые правила взаимодействия с нечеловеческим трафиком. Документ подготовлен рабочей группой CoMP и описывает возможные стратегии доступа к контенту, а также их преимущества и риски.
Рекомендации связаны с развитием нового технического стандарта CoMP API V1 — протокола монетизации контента, который позволяет ИИ-системам и владельцам сайтов заключать соглашения еще до индексации или использования материалов. В IAB отмечают, что многие издатели до сих пор не имеют четкой стратегии работы с ИИ-ботами, несмотря на рост автоматизированного трафика в интернете.
Документ должен помочь компаниям оценивать финансовые затраты, риски и ценность данных при принятии решений о том, разрешать ли доступ ботам к контенту. Эксперты считают, что полная блокировка ботов больше неэффективна, а будущее рынка потребует гибкого разделения полезного и вредоносного автоматизированного трафика.
В марте IAB Tech Lab объявила о новой стандартизированной системе монетизации контента CoMP (Content Monetisation Framework). Она должна гарантировать, что компании, разрабатывающие ИИ, такие как ChatGPT, Claude и Gemini, будут получать разрешение издателей и заключать с ними соглашения перед использованием их материалов.