Google Indexing API: Google убрал форму одобрения из документации — для каких страниц API работает, какие у него лимиты и чем его заменить обычному сайту

Google Indexing API — это программный интерфейс, через который сайт сообщает поисковику, что страница появилась, изменилась или удалена. 16 октября Google убрал из документации форму запроса одобрения и инструкции по её заполнению, оставив только квоты по умолчанию. Для владельцев сайтов это повод заново разобраться, что этот инструмент делает на самом деле, кому он положен официально и что делать всем остальным, когда нужно быстрее проиндексировать страницу.

Коротко: Indexing API — это сигнал для сканирования, а не кнопка «в индекс». Официально он рассчитан на страницы с вакансиями и прямыми трансляциями. Для обычного коммерческого сайта, блога или интернет-магазина надёжнее другие инструменты, и ниже они разобраны по порядку.

Что именно изменилось в документации Google

До обновления страница квот прямо говорила, что API даёт начальную квоту для тестирования, а для рабочего использования требуется дополнительное одобрение. Там же был раздел «Запрос квоты и одобрения» со ссылкой на форму и пометкой, что размер квоты может расти или уменьшаться в зависимости от качества документов.

После обновления от 16 октября всё это исчезло. В кратком руководстве больше нет шага «Запросите одобрение и квоту». Со страницы использования API убрали три одинаковые заметки о том, что квота по умолчанию предназначена для тестирования. В журнале изменений Google написал лишь, что страница квот обновлена, чтобы отразить текущие лимиты и процесс, а устаревшая форма удалена.

Важно, чего Google не написал. Компания не сообщила, отменено ли само требование одобрения. Не сказано, что будет с заявками, поданными раньше. Не объяснено, можно ли теперь работать на квоте по умолчанию в боевом режиме для живых вакансий и трансляций. Ещё в сентябре владельцы job-площадок жаловались, что месяцами ждут ответа на заявки, а сроков рассмотрения в документации не было.

Практический вывод: не стройте процессы на предположении, что одобрение больше не нужно. Документация молчит, а не разрешает. Лимиты по умолчанию остаются в силе, и проверить актуальную квоту своего проекта можно в консоли Google API (Google API Console).

Что такое Indexing API и что он умеет

Indexing API — это интерфейс Google Cloud. Его работа сводится к нескольким методам, и других «волшебных» функций у него нет.

URL_UPDATED — уведомление о новой или изменённой странице. Запрос отправляется методом POST на адрес indexing.googleapis.com/v3/urlNotifications:publish. Ответ 200 означает, что Google принял уведомление и сканирование может произойти в ближайшее время. Индексацию это не гарантирует.

URL_DELETED — уведомление об удалении страницы. Перед отправкой страница должна отдавать код 404 или 410 либо содержать запрет индексации noindex. Если страница живая и открытая, такое уведомление ничего не даст.

getMetadata — запрос данных о последних уведомлениях по конкретному URL. Он показывает, когда Google получил сигнал, но не показывает, когда страница реально попала в индекс или ушла из него.

Пакетная отправка — до 100 запросов в одном пакете. Размер каждой части пакета не больше 1 МБ, а в теле каждого уведомления указывается один URL.

Главное, что стоит запомнить: ответ API подтверждает приём сигнала. Попадание страницы в индекс и тем более рост позиций — отдельные решения Google, которые зависят от качества страницы. Об этом принципе подробно говорили в материале о том, как поисковые системы определяют качество сайта: Как поисковые системы определяют качество сайта.

Для каких страниц API работает официально

Документация Google называет два типа контента: страницы с микроразметкой JobPosting и страницы с разметкой BroadcastEvent, встроенной в VideoObject. Это вакансии и прямые трансляции. Для них у поисковика есть смысл в быстром сигнале: вакансия устаревает за дни, трансляция имеет начало и конец.

Для интернет-магазина, блога, сайта услуг или корпоративного сайта API официально не предназначен. В рунете распространено мнение, что он «работает для всего», и действительно, для других типов страниц API нередко принимает запросы и отвечает 200. Но принять запрос и использовать его как основание для индексации — разные вещи. Google не обещает поддержку этого сценария и может изменить поведение без предупреждения. Строить на таком допущении основной процесс индексации сайта рискованно.

Руководство Google по вакансиям, последний раз обновлённое 8 сентября, по-прежнему рекомендует Indexing API для адресов вакансий и карту сайта для покрытия всего сайта. Из краткого руководства по API при этом убрали абзац с этим сравнением, но сама логика осталась: API закрывает узкий сценарий, карта сайта — общий.

Лимиты и квоты: сколько можно отправить

Лимиты по умолчанию описаны на странице квот и после обновления остались в документации.

1. До 200 запросов publish в сутки на проект. В это число входят и обновления, и удаления.

2. До 180 запросов getMetadata в минуту на проект.

3. До 380 запросов в минуту на все методы вместе.

4. Суточный лимит обнуляется в полночь по тихоокеанскому времени, а не по московскому.

Считается не число пакетов, а число URL. Пакет из десяти адресов спишет десять единиц квоты. Поэтому «отправка сотней в одном запросе» не увеличивает суточную пропускную способность, она только экономит число вызовов.

Лимит в 200 URL в сутки — это потолок для тестирования и небольших объёмов. Если у вас тысячи вакансий в день, без одобрения квоты вы упрётесь в него в первый же час.

Если приблизились к лимиту, оставляйте запас: не расходуйте всю суточную квоту, чтобы хватило на срочные удаления. При ошибке 429 не повторяйте запрос сразу, а увеличивайте паузу между попытками.

Что делать, если нужна квота, а формы больше нет

Здесь честный ответ состоит из нескольких пунктов, потому что документация неполна.

Первое: проверьте квоту проекта в Google API Console. Страница квот по-прежнему отправляет разработчиков туда. Там видно, какие лимиты применяются к вашему проекту сейчас.

Второе: следите за журналом изменений документации Google Search Central. Если появится новый способ запросить квоту, он будет описан там. Не стоит полагаться на пересказы в соцсетях и чатах.

Третье: не пытайтесь обойти лимит. В правилах использования API прямо сказано: не пытайтесь обойти ограничения на отправку, например с помощью нескольких аккаунтов. Тем не менее в рунете встречаются руководства, которые советуют создать несколько проектов Google Cloud со своими ключами и переключаться между ними при ошибке 429. Такая схема нарушает правила самого сервиса, а последствия определяет Google. Относиться к этому как к «лайфхаку» не стоит.

Четвёртое: если вы не публикуете вакансии и трансляции, вопрос квоты вам, скорее всего, не нужен. Лучше потратить время на инструменты из раздела про альтернативы ниже.

Как настроить Indexing API: порядок действий

Если ваш сайт подходит под официальный сценарий, настройка занимает около часа. Порядок такой.

1. Создайте проект в Google Cloud и включите в нём Indexing API.

2. Создайте сервисный аккаунт и сгенерируйте для него JSON-ключ. Ключ показывается один раз: потеряете — придётся создавать заново. Храните его как пароль, не кладите в публичный репозиторий.

3. Добавьте адрес электронной почты сервисного аккаунта в Google Search Console как владельца ресурса. Без этого пункта API вернёт отказ, потому что Google не подтвердит ваши права на сайт.

4. Отправьте тестовый запрос URL_UPDATED с одной страницей и убедитесь, что вернулся код 200. Затем проверьте её через getMetadata.

5. Настройте автоматическую отправку: при публикации или изменении вакансии система сама вызывает API. Ручная отправка списков не масштабируется.

6. Добавьте обработку ошибок: пауза при 429, журнал отправленных адресов, отдельная логика для удалений.

Все запросы должны содержать заголовок Content-Type: application/json. При большом объёме используйте POST, а не GET: ответы на GET могут кэшироваться и показывать устаревшие данные.

Частые ошибки Indexing API и что они значат

400 — не указан URL, он записан в неверном формате или указан неподдерживаемый тип уведомления. Проверьте тело запроса и значение type.

403 — самая частая ошибка новичков. Причин обычно две: сервисный аккаунт не добавлен в Search Console как владелец либо вы пытаетесь отправить адрес сайта, права на который не подтверждены. Иногда причина проще — API не включён в проекте.

429 — исчерпана суточная квота или превышена частота запросов. Подождите и уменьшите частоту. Квота обнулится в полночь по тихоокеанскому времени.

Во всех этих случаях запрос отклоняется и Google не сканирует URL, так что считать такие страницы «отправленными» нельзя. В журнале отправки фиксируйте именно код ответа, а не факт вызова.

Мифы об Indexing API

Миф первый: «API гарантирует индексацию». Нет. Ответ 200 говорит о том, что сигнал принят. Страница низкого качества, дублирующая другие или закрытая от индексации по техническим причинам, в индекс не попадёт.

Миф второй: «API ускоряет рост позиций». Скорость обнаружения страницы и её позиция в выдаче — разные процессы. API влияет максимум на первое.

Миф третий: «API работает для любого сайта, и это можно использовать как основной метод». Официальная поддержка ограничена вакансиями и трансляциями. Остальное — зона, где Google ничего не обещает.

Миф четвёртый: «удаление через URL_DELETED и код 404 — одно и то же». Не совсем. Уведомление об удалении помогает быстрее убрать адрес из выдачи, а при обычном 404 робот возвращается с перепроверкой позже. Но уведомление работает, только если страница действительно отдаёт 404, 410 или noindex.

Миф пятый: «несколько проектов — это решение проблемы квоты». Это нарушение условий, о чём сказано выше.

Чем заменить Indexing API обычному сайту

Если у вас не вакансии и не трансляции, список рабочих инструментов выглядит так.

Карта сайта с актуальной датой изменения. Файл sitemap.xml с корректным значением lastmod по каждому адресу — базовый и самый недооценённый способ. Поисковик понимает, какие страницы изменились, и приоритизирует их обход. Для Google карту сайта подают в Search Console, для Яндекса — в Вебмастере.

Инструмент проверки URL в Google Search Console. Для отдельных важных страниц подойдёт запрос индексирования через проверку URL. Количество таких запросов в сутки ограничено, поэтому используйте его точечно: для новой ключевой страницы или после серьёзной правки.

Переобход страниц в Яндекс Вебмастере. В Вебмастере есть отдельный инструмент для отправки адресов на переобход. Если вам важен Яндекс, а для рунета это часто важнее Google, начинать нужно с него.

Протокол IndexNow. Его поддерживают Яндекс и Bing: вы кладёте ключ в корень сайта и отправляете адреса изменившихся страниц. Google эту схему не использует, поэтому для него она не работает. Подходит для сайтов, которые часто обновляются и ориентированы на Яндекс.

Внутренняя перелинковка. Новая страница, на которую нет ни одной ссылки из индексируемых разделов, обнаруживается дольше. Добавьте ссылку с главной, из тематического раздела или из соседних материалов. Это бесплатно и работает для всех поисковиков сразу.

Качество и уникальность страницы. Если страницы долго не попадают в индекс при исправной технике, проблема, как правило, не в способе отправки. Поисковик не видит смысла хранить слабую или дублирующую страницу. Никакой API с этим не справится.

Прежде чем искать способ «пнуть» поисковик, проверьте простое: открыта ли страница для индексации, есть ли на неё ссылки и есть ли у неё причина быть в индексе.

Как понять, что проблема не в способе отправки

Прежде чем настраивать API или менять инструмент, проведите короткую диагностику. Она занимает около получаса и часто показывает, что страницы не индексируются совсем по другой причине.

1. Откройте проверку URL в Search Console и посмотрите статус страницы. Формулировки «Обнаружена, но пока не проиндексирована» и «Просканирована, но пока не проиндексирована» означают разное. В первом случае Google знает об адресе, но не спешит его обходить. Во втором — страницу уже видел, но не счёл нужной в индексе. Во втором случае отправка сигнала бесполезна, нужно улучшать саму страницу.

2. Проверьте, что страница отдаёт код 200, не закрыта в robots.txt и не содержит noindex. Это самая частая причина, и она не лечится никаким API.

3. Проверьте канонический адрес. Если в rel=canonical указан другой URL, Google будет индексировать его, а не вашу страницу.

4. Посмотрите, ведут ли на страницу внутренние ссылки из индексируемых разделов. Страница-сирота обходится редко.

5. Сравните страницу с уже проиндексированными по тому же запросу. Если у неё нет собственной ценности и она повторяет десять соседних, быстрый обход ничего не изменит.

Если все пять пунктов в порядке, а страница всё равно не появляется в индексе, имеет смысл подать сигнал: проверкой URL, картой сайта, а для вакансий и трансляций — Indexing API. Порядок важен: сначала убедитесь, что страница заслуживает индексации, потом ускоряйте обход.

Что делать на практике: короткая схема решения

Задайте себе три вопроса по порядку.

1. Публикуете ли вы вакансии или прямые трансляции с нужной разметкой? Если да, Indexing API — ваш инструмент. Настройте его, следите за квотой и журналом изменений документации Google.

2. Нужно ли ускорить индексацию отдельных страниц в Google? Используйте проверку URL в Search Console и карту сайта с lastmod.

3. Нужна ли индексация в Яндексе? Отправляйте страницы на переобход в Вебмастере и подключите IndexNow, если сайт обновляется часто.

Не стройте стратегию на обходе лимитов. Если инструмент не рассчитан на ваш тип страниц, его применение остаётся экспериментом, результат которого Google не гарантирует.

Частые вопросы

Можно ли использовать Indexing API для интернет-магазина или блога?

Официально нет: документация называет только вакансии и трансляции. API может принять запрос, но Google не обещает, что это ускорит индексацию страниц других типов.

Нужно ли теперь одобрение, если форму убрали?

Неизвестно. Google в журнале изменений не сообщил, отменено ли требование. Ориентируйтесь на лимиты по умолчанию и проверяйте квоту проекта в консоли Google API.

Сколько URL можно отправить через Indexing API?

По умолчанию 200 запросов publish в сутки на проект, включая обновления и удаления. В одном пакете до 100 запросов, квота списывается по числу URL.

Что означает ошибка 403 при отправке?

Чаще всего сервисный аккаунт не добавлен в Search Console как владелец сайта либо API не включён в проекте. Запрос при этом отклоняется.

Работает ли Indexing API для Яндекса?

Нет. Это сервис Google. Для Яндекса используйте переобход страниц в Вебмастере и протокол IndexNow.

Можно ли обойти лимит, создав несколько проектов?

Правила сервиса запрещают обходить ограничения отправки, в том числе через несколько аккаунтов. Такой подход создаёт риск и не рекомендуется.

Итог

Если свести всё к одному принципу, он такой: Indexing API ускоряет обнаружение страницы, но не решает, нужна ли она в индексе. Поэтому сначала качество и техническая доступность, затем сигнал, и только потом разговор о квотах. Владельцам job-площадок дополнительно стоит заложить в процесс страховку на случай, если лимиты по умолчанию окажутся недостаточными: карту сайта с точным lastmod и регулярный контроль статуса вакансий в Search Console.

Google убрал форму одобрения Indexing API из документации, но не объяснил, что это значит для тех, кто ждал ответа. Лимиты по умолчанию остались прежними, а круг страниц по-прежнему ограничен вакансиями и трансляциями. Для остальных сайтов надёжный путь к быстрой индексации лежит через карту сайта, проверку URL в Search Console, Вебмастер Яндекса, IndexNow и внутренние ссылки.

А вы пользуетесь Indexing API или обходитесь картой сайта и ручными запросами?

👍 Если материал полезен — поставьте реакцию, так его увидит больше людей.

💬 Остались вопросы по индексации? Задавайте в комментариях — отвечу каждому.

🔥🔥🔥 Интересует индексация сайта и Google Indexing API? Пишите в тг, обсудим ваш проект: @th3inventor