Сайт сам блокировал ИИ-ботов: как компании прячутся от нейросетей, не зная об этом

Это третий материал нашей серии про видимость брендов в нейросетях. В первом мы показали, что для ИИ не существует 78% известных компаний, во втором - что российские модели знают о бизнесе ещё меньше западных. Сегодня - история о том, как компания может быть невидимой для нейросетей по причине, о которой не догадывается никто в компании. Включая директора и подрядчика по сайту.

Кейс: ювелирный бренд, которого не могло быть в ответах

Работая с одним ювелирным брендом (растущий бизнес, хороший сайт, живые соцсети), мы сняли замер видимости: нейросети знали компанию по прямому вопросу, но почти никогда не рекомендовали её спонтанно. Стандартная картина - пока мы не запустили техническую проверку сайта.

Оказалось: файл robots.txt на сайте запрещал доступ ИИ-ботам. GPTBot (краулер OpenAI), PerplexityBot, ClaudeBot и другие боты нейросетей упирались в директиву Disallow - то есть нейросети физически не могли прочитать сайт, даже когда хотели. Компания годами вкладывалась в контент и дизайн - и одновременно держала дверь закрытой для целого класса посетителей, которые как раз и формируют рекомендации.

Никто в компании об этом не знал. Скорее всего, блокировку когда-то поставил подрядчик - «на всякий случай», из соображений нагрузки или по шаблону «запретить всех лишних ботов». Для классического SEO это было безвредно. Для видимости в ИИ - фатально.

Устраняется проблема правкой одного файла за пять минут.

Почему это массовая история

Блокировка ИИ-ботов - не экзотика. Ей есть три типовые причины:

1. Шаблонные robots.txt. Многие CMS-шаблоны и «списки плохих ботов» из статей 2023-2024 годов включают GPTBot и его собратьев в запрещённые - тогда это подавалось как защита контента от «воровства на обучение». Файлы копируются с сайта на сайт годами.
2. Сознательный запрет, переживший свою причину. В 2023-м многие издатели и бизнесы демонстративно закрылись от ИИ-краулеров. С тех пор изменилось главное: нейросети стали не «воришками контента», а каналом, через который приходят клиенты. Запрет остался.
3. Хостинг и защита от ботов. Анти-DDoS решения и файрволы иногда режут ИИ-ботов без всякого robots.txt - по user-agent или поведению. Снаружи это не видно вообще.

Отдельный подвид проблемы мы встречали и у других компаний в наших проверках: сайт формально открыт, но невидим частично - не склеены зеркала www и без-www (индексируется одно, ссылаются на другое), нет sitemap, контент прячется за JavaScript, который боты не исполняют.

Как проверить себя за пять минут

1. Откройте вашсайт.ru/robots.txt (просто в браузере). Поищите в тексте: GPTBot, PerplexityBot, ClaudeBot, Amazonbot, Bytespider, YandexBot. Если рядом с ними - Disallow: / - вы закрыты от соответствующей системы.
2. Проверьте, что для нужных ботов доступ разрешён. Минимальный дружелюбный к ИИ robots.txt просто не запрещает этих ботов (отдельные Allow-секции не обязательны).
3. Спросите подрядчика/хостера, нет ли блокировок по user-agent на уровне сервера или анти-бот защиты.
4. Проверьте зеркала: сайт должен открываться по одному каноническому адресу (www или без), второй - отдавать 301-редирект.
5. Бонус: заведите файл llms.txt - краткое машиночитаемое описание компании для нейросетей. Стандарт молодой, но затрат - полчаса, а вреда - ноль.

Что это меняет в картине видимости

Возвращаясь к цифрам первой статьи: из 97 компаний 76 оказались практически невидимы для нейросетей. Часть этих компаний не «проиграла конкуренцию за полку» - она в ней даже не участвовала по техническим причинам. Это хорошая новость: технический слой чинится быстрее репутационного. Прежде чем вкладываться в размещения и контент, стоит убедиться, что дверь вообще открыта.

Что дальше

Все три материала серии - это точка «до»: мы зафиксировали, как выглядит видимость российского бизнеса в нейросетях летом 2026-го. Сейчас несколько компаний-полигонов внедряют изменения по нашим планам, и осенью мы опубликуем самое интересное - контрольные замеры: что реально сдвинуло видимость, а что оказалось карго-культом. Подпишитесь на блог, чтобы не пропустить, - и пишите в комментариях, что проверить на данных.

Исследование: Сергей Лятычевский, GeoWise.