Карта сайта обещает поисковику страницы. Проверил, сколько из них в поиске

Карта сайта — список страниц, которые сайт сам просит поисковики проиндексировать. Я проверил карты 26 крупных российских сайтов — магазинов, СМИ, блогов и сервисов — и нашёл три вещи, о которых стоит знать владельцу сайта и тому, кто заказывает SEO: часть страниц из карт не попадает в поиск, в картах лежат мёртвые и закрытые страницы, а больше четверти сайтов не пускают сторонние проверки — и отчёты таких проверок могут врать.

Как проверял. 26 крупных сайтов в четырёх группах: интернет-магазины, СМИ, блоги и площадки с пользовательскими постами, сервисы и агрегаторы. Названий не будет — интересна картина, а не разбор конкретных компаний. С каждого сайта я взял 100 случайных страниц из карты и проверил, что они отвечают поисковому роботу, а 30 из них — есть ли они в индексе Яндекса и Google. Случайных, а не первых: в начале карты обычно главная и разделы — самые здоровые страницы сайта.

Сколько страниц не в поиске. Карту удалось прочитать у 21 сайта. Из 630 проверенных страниц в Яндексе нет 10 %, в Google — 18 %. По группам картина разная:

1. интернет-магазины: нет в Яндексе 5 %, в Google — 9 %;
2. СМИ: 5 % и 11 %;
3. блоги и площадки с постами: 20 % и 26 %;
4. сервисы и агрегаторы: 8 % и 30 %.

У типичного сайта не нашлась одна страница из тридцати в Яндексе и две в Google: большинство крупных сайтов почти целиком в индексе. Общую долю тянут вверх несколько сайтов, прежде всего те, где страницы создают пользователи: у площадки с постами нет в поиске двух третей выборки, у сервиса объявлений — двух третей в Google. Посты, объявления, вакансии поисковики берут выборочно: их много, они короткие и похожи друг на друга. Если бизнес держится на таких страницах, доля «вне поиска» — это страницы, которые не приведут из поиска ни одного посетителя.

Что лежит в картах. У десяти сайтов из семнадцати, где робот получил нормальные ответы, в выборке не нашлось ни одной проблемы. У остальных семи — мусор, который сайт сам подсовывает поисковику:

1. у регионального СМИ 30 страниц из 100 мёртвые: материалов нет, а карта их по-прежнему перечисляет;
2. у магазина бытовой техники 13 страниц из 100 закрыты для робота в его же robots.txt: карта зовёт туда, куда сайт не пускает;
3. у IT-сообщества 12 адресов из 100 ведут на редирект.

Мёртвые страницы индексу уже не вредят — поисковики их выкинули. Но робот снова и снова получает на них приглашение и тратит на них обход. Противоречие карты и robots.txt хуже: сайт одновременно говорит «индексируй» и «не заходи», и что из этого выберет поисковик, решает он, а не вы.

Почему отчёты о вашем сайте могут врать. Семь сайтов из двадцати шести не пустили моего робота — к карте или к страницам: отказ, «слишком много запросов», ошибка сервера. Это защита от ботов. Роботов поисковиков она пропускает: у тех, кто отдал карту, страницы в индексе есть. А любой сторонний инструмент — аудит, проверку индексации, мониторинг — она встречает отказом. Невнимательный инструмент примет отказ за поломку и напишет «сломаны 100 страниц из 100».

Вторая ловушка — в самой выдаче. Google отдаёт карточки товаров магазинов с особой меткой в адресе. Проверка, которая сравнивает адреса буквально, решит, что карточек в Google нет. У одного из магазинов в опросе у меня сначала вышло «нет в Google 30 страниц из 30» — на деле не нашлись две. Если подрядчик принёс отчёт «Google потерял каталог» или «сломаны сотни страниц», спросите, как именно проверяли.

Что поручить команде

1. Проверить случайные страницы карты, а не первые: сколько из них в индексе Яндекса и Google. Данные есть в Вебмастере и Search Console.
2. Почистить карту: убрать страницы, которые отвечают «не найдено», адреса с редиректом (оставить конечные), неканонические адреса и страницы, закрытые в robots.txt.
3. Убедиться, что карта, указанная в robots.txt, существует. У одного из сервисов в опросе robots.txt ведёт на карту, которой нет.
4. Если пользуетесь сторонними сервисами проверки — убедиться, что защита сайта их пускает. Иначе их отчёты рассказывают про защиту, а не про сайт.

Оговорка: это срез одного дня — по 30 страниц с сайта в индексе, а почти все карты прочитаны частично, первые файлы. Для отдельного сайта такая выборка — грубая оценка, поэтому выводы — по группам и в сумме. Через пару месяцев повторю опрос на тех же сайтах.

Полный разбор с таблицами и методикой

Опрос сделан той же проверкой карты, что открыта всем: сколько страниц карты нет в индексе и что они отвечают роботу. Проверить свою карту можно бесплатно и без регистрации: vestohod.ru/check/sitemap