Тысячи ответов нейросетей: сколько нужно, чтобы понять картину

Ваши клиенты всё чаще спрашивают не поисковик, а ChatGPT, Алису или Gemini: «кого посоветуете?» — и нейросеть называет несколько компаний. Так появился новый рынок услуг — проверять, есть ли вы в этих ответах, и помогать туда попасть; это GEO-продвижение — продвижение брендов в ответах нейросетей. Вместе с ним появились и коммерческие предложения с внушительными цифрами: «тысячи замеров», «ежедневный мониторинг». Эта статья — о том, как читать такие цифры и понимать, за что вы платите.

Вы открываете коммерческое предложение, а там — тысячи замеров. Цифра выглядит убедительно: кажется, что нейросети опросили вдоль и поперёк, результат должен быть точным, а ситуация — под постоянным контролем.

Но из самой цифры непонятно главное. Сколько разных вопросов действительно задали? Сколько раз повторили опрос, чтобы убрать случайность? И будут ли новые данные менять ваши решения — или только пополнять отчёт?

Тысячи замеров говорят о количестве вычислений, но ещё ничего не говорят о глубине картины.

Чтобы оценить предложение, не нужно погружаться в технологию. Достаточно разложить большую цифру на составляющие, увидеть точку, после которой новые ответы почти ничего не меняют, и сопоставить частоту наблюдений с частотой ваших действий.

Что стоит за большой цифрой

В предложениях встречается 5000 замеров: это может быть 50 вопросов × 5 моделей × 20 дней.

Каждый вопрос задают нескольким моделям, затем повторяют процедуру каждый день. Так появляется внушительное число операций.

Само умножение честное. Проблема начинается, если итоговую цифру принимают за доказательство точности. Пять моделей могут много дней отвечать на одни и те же вопросы, но от повторения вычислений исследование не обязательно становится глубже.

Представьте опрос прохожих о лучшем кафе. Можно записать каждый ответ, пересчитать его в разных таблицах и ежедневно обновлять диаграмму. Таблиц станет больше, но представление о мнении людей улучшится только тогда, когда в опросе достаточно разных вопросов и ответов, а случайные колебания отделены от устойчивой картины.

Поэтому смотреть нужно не на общий счётчик, а на его устройство: сколько в нём вопросов, моделей, повторов и дней. После этого большая цифра превращается в понятную арифметику, которую уже можно оценивать по смыслу.

Сколько вопросов нужно на самом деле

Мы проверяли это на кривой совпадения: постепенно добавляли вопросы и смотрели, насколько получившийся топ-10 брендов совпадает с полной картиной по всем каналам вместе.

В одной исследованной нише 3 вопроса дали 50% совпадения с полной картиной, 6 — 70%, 9 — 77%, 12 — 80%, 24 — 93%.

Логика та же, что в опросе прохожих о лучшем кафе. Сначала каждый новый человек заметно меняет результат. Одно кафе вырывается вперёд, другое исчезает из списка, третье появляется впервые. Затем новые ответы всё чаще повторяют уже названные варианты — картина начинает выравниваться.

Но первые совпадения ещё не означают, что результат устойчив. Мы отдельно определили шумовой пол — уровень совпадения, который возникает, если просто переспрашивать об одном и том же другими словами. В наших замерах он составил примерно 54–63%. Поэтому результат по 3 вопросам с совпадением 50% нельзя считать картиной рынка: он не поднялся выше случайного фона.

К 12 вопросам кривая дошла до 80% и заметно замедлилась. На 24 вопросах совпадение выросло до 93%, но новые вопросы уже гораздо реже меняли состав лидеров. Это и есть плато: точка, после которой дополнительный опрос приносит всё меньше нового знания.

Число 12 здесь не универсальная норма и не готовый тариф для любой компании. Это результат одной исследованной ниши. Важен сам принцип: подрядчик должен показать не максимальное количество запросов, а место, где дополнительные вопросы перестали существенно менять выводы.

Достаточный объём начинается не с красивого счётчика, а с момента, когда новые вопросы почти перестают менять топ-10.

Сколько раз переспрашивать

Даже хороший набор вопросов не избавляет ответы нейросетей от случайности. Одна и та же система может сегодня поставить бренд выше, а при следующем обращении изменить порядок или вспомнить другое название. Поэтому одного прохождения опросника достаточно для снимка, но мало для устойчивого сравнения.

Один прогон — это один полный проход по выбранным вопросам и нейросетям. При схеме из 12 вопросов и 10 нейросетей он даёт 120 ответов.

В той же нише 1 прогон совпал с устойчивой картиной на 74%, 2 прогона — на 85%, 3 — на 91%.

Первый прогон уже показывает, где находится компания и кого нейросети называют вместо неё. Но часть расстановки всё ещё зависит от того, как системы ответили именно в этот момент.

Повторные прогоны позволяют усреднить такие колебания. После третьего картина почти перестала меняться, а топ-10 показал 100% устойчивость к смене формулировок: вопросы заменили другим шаблоном внутри той же темы, но состав лидеров остался прежним.

Бизнес-смысл здесь простой. Один прогон отвечает на вопрос «где вы сейчас и кого называют вместо вас»; три прогона нужны, чтобы видеть движение, а не случайный скачок.

Это не повод автоматически повторять любой опрос бесконечно. Как и с прохожими у кафе, нужно остановиться там, где следующий круг уже почти не меняет результат. Иначе растёт число ответов, но не уверенность в выводах.

Почему ежедневно — бессмысленно

Полка нейросетей — то, что нейросеть называет, когда её спрашивают «кого посоветуешь», — меняется не в ритме ежедневного отчёта. Ей нужно время, чтобы заметить новые публикации, обновить источники и пересчитать вес авторитетных упоминаний.

Полка нейросетей обычно реагирует на изменения через 2–6 недель, а не на следующий день после вашей публикации.

Если компания сегодня обновила страницу, завтра выпустила материал, а послезавтра получила внешнее упоминание, ежедневная проверка может долго показывать прежнюю картину. Это не обязательно означает, что работа не дала эффекта. Изменения ещё должны попасть в индекс, закрепиться в источниках и повлиять на ответы.

Ежедневная сводка полезна тем, кто способен ежедневно действовать по её итогам. Например, медиа быстро выпускают новые материалы, крупные ритейлеры постоянно меняют ассортимент и коммуникацию, а оперативные штабы реагируют на события без длинного цикла согласований. Для них частый сигнал может сразу запускать действие.

У владельца небольшой или средней компании ритм обычно другой. Если решения принимаются раз в несколько недель, ежедневные данные не дают нового рычага: человек наблюдает колебания, на которые всё равно не может и не должен отвечать каждый день.

Если вы не можете ежедневно менять действия, ежедневная сводка превращается в счётчик наблюдений.

Частота имеет смысл только в связке с управленческим циклом. Проверять нужно достаточно часто, чтобы заметить движение после сделанной работы, но не настолько часто, чтобы принимать естественный шум за сигнал к новой смене курса.

У каждой ниши свой порог

У аналогии с прохожими есть важное продолжение. Если спросить о кафе рядом с известной площадью, ответы могут быстро сойтись вокруг нескольких названий. Если тема новая или раздробленная, каждый следующий человек будет вспоминать своё — и список продолжит меняться.

С нейросетями происходит то же самое. В одних категориях есть устойчивый круг известных брендов и источников. В других модели каждый раз достают новые названия, потому что рынок фрагментирован, а общего мнения ещё нет.

В одной исследованной нише кривая вышла на плато примерно на 12 вопросах, а в другой нише той же серии не остановилась даже на 24.

Поэтому нельзя заранее объявить одно число достаточным для всех. Если перенести результат спокойной ниши на раздробленную, часть картины останется за рамками исследования. Если сделать наоборот, компания заплатит за лишние вопросы, которые уже не меняют выводов.

Порог измеряется, а не угадывается. Сначала строят пробную кривую: добавляют вопросы и проверяют, продолжает ли меняться состав лидеров. Если изменения почти прекратились, данных достаточно. Если каждый новый вопрос приводит новые бренды, останавливаться рано.

У одной темы прохожие сходятся быстро; у другой и после 24 ответов каждый продолжает называть своё.

Именно поэтому хорошее предложение объясняет, как будет найдена точка остановки для вашей ниши. Большой заранее назначенный объём не заменяет такой проверки.

4 вопроса к любому КП

Оценить предложение по наблюдению за ответами нейросетей можно без технической экспертизы. Достаточно задать четыре вопроса и попросить показать расчёты на ваших данных.

Четыре вопроса отделяют полезное измерение от счётчика запросов.

1. Из чего складывается общее число? Попросите разложить его на вопросы, нейросети, прогоны и дни. После этого станет понятно, сколько разных ситуаций исследуют, а сколько раз повторяют одну операцию.
2. На каком числе вопросов результат перестаёт заметно меняться? Нужна кривая совпадения, а не ответ «так принято». Она покажет, где новые вопросы ещё находят бренды и переставляют лидеров, а где уже повторяют известную картину.
3. Сколько прогонов усредняют и проверяли ли результат сменой формулировок? Один проход даёт текущий снимок. Несколько повторов помогают понять, какие позиции устойчивы, а какие возникли из-за случайного ответа. Отдельно полезно проверить, сохранится ли топ-10, если тот же смысл спросить иначе.
4. Почему данные собирают именно с такой частотой и что вы будете делать по их итогам? Если отчёт приходит ежедневно, попросите назвать ежедневное решение, которое он запускает. Если такого действия нет, частота обслуживает таблицу, а не бизнес.

Ответы не обязаны совпадать с числами другой ниши. Их задача — показать причинную связь: почему выбрано столько вопросов, зачем нужны повторы, где заканчивается полезная информация и как часто компания действительно может на неё реагировать.

Вывод

Большая цифра в коммерческом предложении может быть корректной — но оценивать её нужно не по масштабу. Сначала разложите число на вопросы, нейросети, прогоны и дни. Затем попросите показать, в какой точке новые ответы почти перестают менять картину.

Для текущего снимка может хватить одного прогона. Для сравнения движения нужна более устойчивая основа. Ежедневная частота оправданна только тогда, когда за ежедневным сигналом следует действие.

Полезное число ответов определяется точкой насыщения и ритмом решений, а не размером счётчика.

В одной исследованной нише 12 вопросов × 3 прогона дали устойчивую картину, а при смене формулировок топ-10 сохранился на 100%. В другой нише плато не наступило даже на 24 вопросах, поэтому достаточный объём нужно определять отдельно для каждой темы.

Исследование Лаборатории GeoWise — GEO-продвижение — продвижение брендов в ответах нейросетей. Кривые по числу вопросов и прогонов построены на данных исследованных ниш; устойчивость результата проверена сменой формулировок. Подробнее о методике — geowise.ru.