robots.txt

1 материал
adminvps.ru
2026-09-14 19:25:35
Cloudflare меняет правила для AI-ботов: как не потерять поисковую видимость
Digital (web-дизайн, интернет-реклама и продвижение, интернет-сообщества и блоги, интернет-коммуникации, мобильный маркетинг, реклама на цифровых экранах)
С 15 сентября 2026 года Cloudflare меняет правила управления AI-краулерами. Search, Agent и Training теперь важно рассматривать отдельно: один и тот же краулер может использоваться сразу для нескольких задач, а более строгое правило способно повлиять и на поисковый обход сайта. Разбираем, что проверить в Cloudflare, WAF и robots.txt, чтобы ограничение AI-обучения не привело к неожиданной потере поисковой видимости. подробнее
164
A25_loves_you
2016-02-11 12:24:46
Опубликована бесплатная демо-версия для модуля Редактор Robots.txt
Digital (web-дизайн, интернет-реклама и продвижение, интернет-сообщества и блоги, интернет-коммуникации, мобильный маркетинг, реклама на цифровых экранах)
Новости готовых решений на UMI.Market |Модули для UMI.CMS|У нас для вас отличные новости! Опубликована бесплатная демо-версия для модуляРедактор Robots.txt http://redaktorrobotstxt.a25.ru/ Страница модуля на UMI.Market: http://market.umi-cms.ru/module/redaktor_robots_txt/ подробнее
1512