Разработчик закрыл сайт от индексации. Сколько времени до потери трафика?
Самый частый способ потерять поисковый трафик собственными руками — неудачный релиз. Разработчик переносит сайт со стейджинга вместе с запретом индексации, кто-то ставит «временную» галочку в SEO-плагине — и на посадочных страницах оказывается тег noindex. Он прямо говорит поисковику: «не показывай эту страницу».
Обычно об этом узнают по отчёту в конце месяца, когда трафик уже просел. А на вопрос «сколько у нас было времени» отвечают по-разному: «Яндекс выкинет за пару дней», «после апдейта», «недели две». Замера по дням я не нашёл — и сделал его сам.
Эксперимент. 3 сентября я поставил noindex на проиндексированную статью своего блога. Сервер по-прежнему отдаёт страницу, robots.txt её не закрывает — робот может прийти и прочитать запрет. С тех пор каждый день проверяю, находит ли её Яндекс.
Результат на сегодня: 20 проверок подряд — «найдена». Ни одного промаха.
Выглядит так, будто Яндекс игнорирует запрет. Это не так. В Яндекс Вебмастере есть статистика обхода — когда робот заходил на страницу. Вот все его визиты за полгода: 28 апреля, 27 июня, 27 июля, 19 августа. Последний — за две недели до того, как я поставил тег. С тех пор — 35 дней — робот на страницу не приходил. В поиске лежит версия от 19 августа, без запрета, и Яндекс честно её показывает.
При этом сайт он не забросил: только за первые две недели эксперимента — 40 заходов на 30 других страниц. На конкретную статью очередь просто не дошла: у этого блога робот возвращается на одну и ту же страницу в среднем раз в 26 дней.
И деталь, которую легко упустить: SEO-плагин, включив запрет, тут же убрал страницу из карты сайта (sitemap). То есть снял единственный сигнал, которым можно было позвать робота. Запрет индексации сам себе замедлил доставку.
Что из этого следует для бизнеса
- noindex — не команда, а записка на двери. Она сработает, когда робот придёт. Сколько у вас времени после неудачного релиза, зависит не от «апдейтов», а от того, как часто робот ходит на конкретные страницы. Это видно в Вебмастере заранее.
- Самые ценные страницы пострадают первыми. Робот чаще всего ходит на главную, категории и свежие материалы — ровно туда, где трафик. У интернет-магазина с ежедневным обходом каталога окно — сутки, а не недели. Старые статьи в блоге продержатся дольше всех, но они и приносят меньше.
- «Проверили — в индексе, значит всё в порядке» не работает. Страница из эксперимента три недели выглядит в поиске здоровой, хотя её судьба уже решена — вопрос только в дате. Проверка индексации показывает, что поисковик знал месяц назад. Что будет дальше, показывает только сама страница: код ответа, мета-теги, robots.txt. Поэтому проверять после релиза нужно страницу, а не выдачу.
- Если нужно убрать страницу из поиска быстро, одного тега мало. Отправьте её на переобход в Вебмастере и не убирайте из sitemap, пока она не выпала. Посмотрите, что делает ваш SEO-плагин.
Оговорка: это одна страница одного небольшого сайта, а не закон природы. Но записанный по дням случай полезнее, чем «обычно пара недель».
Эксперимент продолжается: жду робота, чтобы замерить вторую половину — сколько проходит между «робот прочитал запрет» и «страница пропала из выдачи». Полный разбор с таблицами, условиями и данными Вебмастера — в статье.
Проверить, не мешает ли что-то индексации ваших страниц прямо сейчас, можно бесплатно и без регистрации.
Если у вас есть свой замер — с датами, а не «где-то пару недель», — поделитесь в комментариях: одной страницы мало, десять разных сайтов — уже картина.