После публикации бренд стали упоминать чаще: как отличить результат GEO от случайного шума

Через две недели после выхода статьи бренд появляется в ответах нейросетей чаще, чем до неё. Само по себе это число ничего не доказывает: ответы моделей меняются от запроса к запросу и от дня ко дню. Чтобы связать рост с публикацией, нужна не одна цифра, а схема замера, заданная до того, как материал вышел.

Почему сравнения «до и после» недостаточно

Генеративные модели отвечают вероятностно. Один и тот же запрос, заданный трижды, даёт три разных списка брендов, и часть различий возникает без всякой внешней причины. На результат влияет формулировка, язык, регион, история диалога, обновление модели и состав источников, которые она подтянула в момент ответа.

Отсюда простое следствие: разница между двумя замерами это сумма эффекта и шума. Пока вы не оценили размер шума, любой рост читается как успех, а любое падение как провал. Из чего складывается это колебание:

1. переформулировка запроса: синонимы и порядок слов меняют выдачу сильнее, чем кажется
2. регион и язык: бренд может быть в ответе для запроса из Москвы и отсутствовать в англоязычном
3. обновление модели и её поисковой надстройки: даты релизов не совпадают с вашим контент-планом
4. сезонность спроса и новостной фон вокруг категории
5. размер выборки: на двадцати запросах разброс в три упоминания уже выглядит как тренд

Что зафиксировать до публикации

Методика начинается не с публикации, а с базового замера. Задача минимум сохранить состояние, к которому вы потом вернётесь: иначе сравнивать будет не с чем, а восстановить прошлые ответы нейросетей задним числом нельзя.

1. Список запросов, разбитый на кластеры: выбор продукта, сравнение, цена, проблема, бренд по имени.
2. Сырые ответы моделей целиком, а не только факт упоминания: позже понадобятся формулировки и аргументы.
3. Ссылки, которые модель процитировала, с доменами.
4. Дату и время замера, модель и её версию, регион и язык запроса.
5. Дату публикации и дату, когда материал впервые попал в ответ нейросети.

Последний пункт обычно пропускают. Между выходом материала и его попаданием в ответ модели проходит от нескольких дней до нескольких месяцев, и без этой отметки эффект легко приписать не той публикации.

Контрольная группа запросов

Самая дешёвая защита от ложного вывода это контрольная группа. Разделите запросы на две части: по темам первой вы публикуете материал, вторую не трогаете вовсе. Темы в контрольной группе берите из той же категории и примерно той же конкурентности.

Если упоминания выросли в обеих группах одинаково, дело не в статье, а в чём-то общем: модель обновилась, категория попала в повестку, конкурент потерял видимость. Эффектом стоит считать разницу между группами, а не рост в целевой.

Четыре показателя вместо одного

Частота упоминаний самый грубый из показателей. Бренд может встречаться чаще и при этом реже попадать в короткий список рекомендаций. Вопрос не только в количестве упоминаний, поэтому замер стоит разбить.

1. Доля упоминаний: в каком проценте ответов бренд вообще назван.
2. Доля рекомендаций: в каком проценте ответов он назван среди предпочтительных, а не перечислен как один из вариантов.
3. Цитирование: ссылается ли модель на ваш материал и ваш домен или пересказывает его без ссылки.
4. Аргументы выбора: какими словами модель объясняет, почему бренд подходит, и совпадают ли они с формулировками статьи.

Пример. В выборке из 300 запросов бренд упоминался в 18% ответов, после публикации в 24%. В контрольной группе показатель вырос с 17% до 19%. Доля рекомендаций не изменилась, 7% против 7%, зато в 11% ответов появились формулировки из статьи. Это уже не «нас упоминают чаще», а «материал прочитан и используется как аргумент, но на выбор пока не влияет». Следующий шаг здесь совсем другой, чем при простом росте частоты.

Когда рост можно считать эффектом

Строгого порога здесь нет, но есть набор условий, при которых вывод о влиянии публикации выдерживает проверку.

1. Сдвиг в целевой группе заметно больше, чем в контрольной.
2. Он держится не в одном замере, а в трёх-четырёх подряд.
3. Он виден минимум в двух моделях с разными источниками, а не в одной.
4. В ответах появились факты или формулировки, которых до публикации не было ни у вас, ни у конкурентов.
5. Выборка достаточна: десятки запросов на кластер, а не три показательных.

Если выполнено одно условие из пяти, корректный вывод звучит скучно: данные не противоречат гипотезе, замер нужно продолжить. Я бы не делал более сильного утверждения, пока сдвиг не повторился.

Где методика ломается

1. Замеры делают вручную и нерегулярно: пропущенная неделя убивает сравнение периодов.
2. Список запросов меняли по ходу эксперимента: выборка стала другой, сравнивать уже нечего.
3. Одновременно вышли статья, рассылка и платная кампания: разделить вклад нельзя.
4. Смотрят только на свой бренд: падение конкурента выглядит как ваш рост.

Если коротко: устойчивую картину стоит ждать через полтора-два месяца и держать по несколько десятков запросов на кластер.

Чем это считают

Сырые ответы, даты замеров и срезы по моделям и регионам можно хранить самостоятельно, в таблицах. Объём растёт быстро: десять моделей, несколько сотен запросов и ежедневная частота дают десятки тысяч ответов за квартал. Для регулярного измерения используют GEO-сервисы, например brandfound, Profound, VisioBrand, GeoRank.

Для проверки гипотезы в таком сервисе важен не счётчик упоминаний, а четыре вещи: история замеров по каждой модели, список процитированных источников, раздельный учёт упоминания и рекомендации и отметка момента, когда статья впервые попала в ответ. В brandfound эти данные лежат в одном месте, и связать публикацию с изменением в ответах проще, чем сводя выгрузки руками. Выбирать сервис стоит по тому же списку параметров, по какому вы собирали бы свою таблицу.

Что проверить на своих данных

1. Поднимите базовый замер: остались ли у вас сырые ответы до публикации или только итоговые цифры.
2. Посчитайте разброс между повторными замерами в спокойный период: это и есть ваш уровень шума.
3. Выделите контрольную группу запросов под следующий материал.
4. Разведите в отчёте упоминания и рекомендации, это два разных показателя.

Рост упоминаний это не результат, а повод для проверки. Полезный вопрос звучит иначе: изменилось ли то, как нейросеть объясняет выбор бренда, и держится ли это изменение дольше одного замера. Пока ответа нет, считать публикацию удачной рано, а переписывать стратегию из-за падения тем более.