Запрет индексации срабатывает не сразу. И отменяется тоже не сразу
В прошлом посте я рассказывал об эксперименте: поставил на живую страницу запрет индексации — тег noindex, который случайно оказывается на сайте после неудачного релиза, — и каждый день проверял, есть ли она в Яндексе. Три недели она оставалась в поиске: робот Яндекса на неё просто не заходил.
Чем закончилось. 25 сентября, через 37 дней без визита робота, я отправил страницу на переобход — это функция Яндекс Вебмастера, которая зовёт робота на конкретный адрес. 30 сентября Вебмастер исключил страницу из поиска с причиной «noindex». 1 октября ежедневная проверка подтвердила вылет.
Итог: страница с запретом индексации провела в выдаче 27 дней — и вылетела через 5 дней после того, как робота позвали.
Исправление. 1 октября я снял запрет и сразу снова отправил страницу на переобход. Робот пришёл в тот же час. Но в поиск страница не вернулась ни на следующий день, ни через три дня.
Что это значит для бизнеса
- Запрет индексации срабатывает не сразу. Он вступает в силу, когда робот приходит на страницу. У редко обходимых страниц это недели, у главной и каталога — дни или часы. Окно на исправление есть, но у самых ценных страниц оно самое короткое.
- И отменяется тоже не сразу. Даже если ошибку исправили за минуту и робот пришёл в тот же час, поиск возвращает страницу днями. Значит, ущерб считается не до исправления, а до возвращения в выдачу.
- Проверять нужно страницы, а не выдачу. Страница из эксперимента почти четыре недели выглядела в поиске здоровой, хотя её судьба уже была решена. Тег на странице видно сразу; в выдаче он проявляется с опозданием на недели.
- После исправления — зовите робота. Переобход в Вебмастере сработал в тот же час. Без него возвращение зависело бы от следующего планового визита робота — а на эту страницу он сам не заходил больше месяца.
Оговорка: это одна страница одного небольшого сайта, а не закон природы. Полный разбор с таблицами дат и данными Вебмастера — в статье.
Проверить, не мешает ли что-то индексации ваших страниц прямо сейчас, можно бесплатно и без регистрации: vestohod.ru/check