robots.txt

1 материал
Вячеслав Савицкий
2026-10-14 22:06:28
6 мифов о том, как нейросети выбирают источники: сверил с документацией OpenAI, Google, Яндекса и Perplexity
Digital (web-дизайн, интернет-реклама и продвижение, интернет-сообщества и блоги, интернет-коммуникации, мобильный маркетинг, реклама на цифровых экранах)
Нейросети выбирают источники для ответа в два шага: сначала поиск находит страницы по запросу, потом языковая модель пересказывает самые подходящие и ставит на них ссылки. Алиса AI опирается на поиск Яндекса, AI Overviews — на индекс Google, ChatGPT — на своего робота OAI-SearchBot и поисковых партнёров. Всё остальное, что рассказывают про «секретные факторы» нейросетей, в официальных справках... подробнее
124
adminvps.ru
2026-09-14 19:25:35
Cloudflare меняет правила для AI-ботов: как не потерять поисковую видимость
Digital (web-дизайн, интернет-реклама и продвижение, интернет-сообщества и блоги, интернет-коммуникации, мобильный маркетинг, реклама на цифровых экранах)
С 15 сентября 2026 года Cloudflare меняет правила управления AI-краулерами. Search, Agent и Training теперь важно рассматривать отдельно: один и тот же краулер может использоваться сразу для нескольких задач, а более строгое правило способно повлиять и на поисковый обход сайта. Разбираем, что проверить в Cloudflare, WAF и robots.txt, чтобы ограничение AI-обучения не привело к неожиданной потере поисковой видимости. подробнее
245
A25_loves_you
2016-02-11 12:24:46
Опубликована бесплатная демо-версия для модуля Редактор Robots.txt
Digital (web-дизайн, интернет-реклама и продвижение, интернет-сообщества и блоги, интернет-коммуникации, мобильный маркетинг, реклама на цифровых экранах)
Новости готовых решений на UMI.Market |Модули для UMI.CMS|У нас для вас отличные новости! Опубликована бесплатная демо-версия для модуляРедактор Robots.txt http://redaktorrobotstxt.a25.ru/ Страница модуля на UMI.Market: http://market.umi-cms.ru/module/redaktor_robots_txt/ подробнее
1524