Менеджер открывает страницу, видит заголовок и форму, сообщает разработчику: «Всё доступно». Но браузер мог использовать действующую авторизацию, сохранённые данные или уже загруженные ресурсы. При проверке роботом могут обнаружиться ограничения доступа, отсутствие основного текста или запрет индексирования.
Проверять нужно конкретный публичный URL и последовательность его обработки. Не следует сразу менять robots.txt: проблема может находиться совсем в другом месте. Сначала соберите факты, затем исправляйте обнаруженное препятствие.
Запишите исходный адрес, промежуточные перенаправления, конечный URL и код ответа. Затем посмотрите, что находится в теле ответа. Статус 200 при тексте «ничего не найдено» не превращает страницу в полноценный материал.
Google объясняет в документации о кодах HTTP, что успешный ответ допускает дальнейшую обработку, но не гарантирует индексирование. Пустая страница или сообщение об ошибке при 200 могут оцениваться как soft 404. Поэтому в ведомости нужны одновременно код и содержание.
Условная запись «/service/ → 200 → заголовок, описание, условия, ссылка на форму» полезнее зелёного индикатора «URL работает». Если результат зависит от региона, устройства или входа в аккаунт, эти условия тоже фиксируют.
Robots.txt задаёт правила обхода URL для роботов, которые соблюдают эти правила. Он не служит надёжным способом скрыть конфиденциальную информацию и не равнозначен запрету появления URL в поиске. Google отдельно предупреждает: запрещённый к обходу адрес может быть обнаружен по ссылкам и показан без прочтения его содержимого. Это описано в руководстве по robots.txt.
Проверяйте метатеги robots и HTTP-заголовок X-Robots-Tag. Если нужен noindex, робот должен иметь возможность получить соответствующее указание. Сочетание «запретить обход» и «пусть робот увидит noindex» нельзя считать автоматически работающей схемой.
Не снимайте ограничения массово. Страница услуги и личный кабинет имеют разные задачи. Секретные данные требуют контроля доступа, а не надежды на добросовестность поискового робота.
Проверьте основной текст после загрузки страницы и его доступность без обязательного пользовательского действия. Иногда описание существует только внутри виджета, который не загрузился из-за ошибки. Иногда вместо текста сервер отдаёт оболочку, а дальнейшая загрузка требует сессии.
Для диагностики полезны инструменты конкретной поисковой системы: они показывают больше, чем обычный просмотр страницы сотрудником. Результат проверки одним сервисом не нужно автоматически распространять на все поисковые и AI-системы. Их способы получения страниц различаются.
Сохраните короткий лист наблюдений:
Конечный ответ. Зафиксируйте код и URL. При расхождении исправьте ошибку или маршрут.
Основной материал. Зафиксируйте текст, условия и ссылки. При расхождении проверьте загрузку и доступ.
Правила обхода. Зафиксируйте, какая группа разрешает или запрещает URL. При расхождении сверьте правила с назначением страницы.
Индексирование. Зафиксируйте Meta robots и X-Robots-Tag. При расхождении уберите случайный запрет либо сохраните намеренный.
Проверка поисковиком. Зафиксируйте дату и наблюдаемый результат. При расхождении сопоставьте результат с живой версией.
В маркетинговом аудите агентства Эйч технический статус полезно связывать с бизнес-задачей страницы: доступен ли материал, на который уже ведёт реклама, статьи и рекомендации.
После исправления повторите именно тот путь, на котором обнаружено препятствие. Затем отдельно наблюдайте поисковый статус. «Робот может получить страницу», «страница находится в индексе» и «страница получает переходы» — три разных результата. В отчёте лучше оставить три проверяемых утверждения, чем одно расплывчатое «SEO исправлено».