Радио 
У языковой модели есть свойство, которое в роли респондента опаснее любой ошибки: она всегда отвечает уверенно. Попросите ее оценить рекламу кредитной карты от лица пенсионерки из Твери, и вы получите связный, аргументированный и даже трогательный ответ, который невозможно отличить от правды, пока не сверишь его с реальностью. Виктор Донюков, сооснователь Fair Lab, управляющий партнер и совладелец агентства 
GREAT рассказал, почему рынок синтетических респондентов, выросший на обещании скорости, сегодня упирается в доверие.
Это хорошо видно по опросу «Анкетолога», который в августе опубликовал Sostav. Больше половины тех, кто использует или рассматривает синтетику, пришли за ускорением сбора данных, еще 39% рассчитывают удешевить поле. Главным препятствием для внедрения при этом называют невозможность проверить достоверность ответов, а 40% пользователей получают эти ответы разовой генерацией в LLM-чате, то есть способом, который такой проверки в принципе не предусматривает. Люди пришли за скоростью и выяснили, что она не отвечает на главный вопрос: можно ли этому верить.
Отсюда тезис, на котором построен этот текст. Платформу стоит выбирать по тому, способна ли она доказать свою точность и честно показать, где ей верить нельзя, а живость ее персон почти ничего не говорит о качестве. Правдоподобие бесплатно прилагается к любой современной модели, поэтому по нему платформы друг от друга не отличаются. Отличается то, что под ним.
Сразу оговорюсь: я сооснователь одной из таких платформ, а в GREAT много лет нахожусь по другую сторону исследований, там, где проверяют наши идеи. Поэтому дальше будет не рейтинг вендоров, а восемь вопросов, которые я задал бы любой платформе, включая нашу. Большинство из них мы задавали себе сами, пока строили продукт.
Что такое платформа синтетических респондентов
Платформа синтетических, или цифровых, респондентов — это сервис, который хранит устойчивые профили людей с демографией, поведением, ценностями и жизненным контекстом, а языковая модель отвечает от их лица на вопросы об идеях, креативе и продуктах. От запроса в чат ее отличают три вещи: ответы воспроизводятся, точность измерена на живых людях, а к той же аудитории можно вернуться с новым вопросом через неделю или через полгода.
Сейчас на рынке уживаются три подхода. Чаще всего, по данным того же опроса, работают со специализированными платформами, где хранятся постоянные профили: так делает 61% пользователей синтетики. Дальше идет разовая генерация в LLM-чате, к ней прибегают 40%, а собственные разработки есть примерно у каждой пятой компании. Критерии ниже помогают понять, чем платформа должна отличаться от чата, чтобы за нее имело смысл платить, и что стоит заложить в собственную разработку, если вы решили строить сами.
1. Точность измерена на живых людях, и понятно, как именно
Любая платформа скажет, что ее персоны реалистичны. Это утверждение ничего не стоит, пока за ним нет сравнительных тестов, где одни и те же материалы показывают живой и цифровой выборке, а способ сравнения оговорен заранее. Цифра точности без методики расчета остается маркетингом, даже если она очень красивая.
Методика важнее самой цифры, потому что совпадать можно по-разному. Средние оценки по пятибалльной шкале у живых и цифровых людей могут сойтись до десятых, а лучший вариант при этом окажется разным, и для бизнеса второе гораздо важнее первого. Важно сравнивнить результаты по трем вещам, которые реально влияют на решение: выбирает ли цифровая аудитория того же лидера, что и живая, выстраивает ли варианты в том же порядке и приходит ли к похожим инсайтам в открытых ответах. На сотне с лишним сравнительных тестов и более чем 12 000 живых и цифровых респондентов совпадение составляет 87%. Это не 100%, и, услышав от кого-нибудь про 100%, я бы насторожился.
Что спросить у вендора: по какому показателю вы считаете точность, на скольких тестах, и можете ли показать тест, где результаты разошлись?
2. Персона живет дольше одного ответа
Когда маркетолог пишет в чат «представь, что ты мама двоих детей из Екатеринбурга, и оцени ролик», модель играет эту роль ровно один ответ. Задайте тот же вопрос через минуту, и «мама» вполне может передумать, потому что у нее нет ничего, кроме строчки описания. На такой основе выборку не построить: сто запросов дадут не сто разных людей, а сто вариаций одного усредненного представления о маме из Екатеринбурга.
Платформа должна хранить персону как устойчивый профиль, в котором социально-демографические данные дополнены поведением, ценностями, медиапотреблением и жизненными обстоятельствами. Тогда персона отвечает последовательно, выборка из трехсот человек действительно состоит из трехсот разных людей, которые между собой спорят, а к той же аудитории можно вернуться с уточняющим вопросом. По нашему опыту именно детализация профиля помогает снижать систематические смещения в ответах.
Что спросить у вендора: ответит ли персона так же, если задать ей один вопрос дважды или вернуться к ней через неделю? Из чего состоит профиль, кроме пола, возраста и дохода?
3. Цифровой респондент умеет сказать «мне не нравится»
Языковые модели после обучения стараются быть полезными и приятными собеседниками. Для ассистента это достоинство, для респондента это профессиональная непригодность. Модель, которая хочет понравиться, склонна хвалить всё, что ей показывают, находить в слабой идее «интересный потенциал» и заворачивать критику в три слоя вежливости. Авторы опроса «Анкетолога» отдельно отмечают, что дообучение сдвигает ответы моделей к осторожности и усредненности.
Для претеста креатива это смертельно, потому что его главная работа состоит в том, чтобы вовремя сказать «нет». Я давно говорю, что искусство выбирать идеи начинается с умения честно произнести «мне не нравится», и к цифровой аудитории это относится даже в большей степени, чем к людям: живой респондент хотя бы устаёт быть вежливым к двадцатому вопросу, а модель не устает никогда.
Проверяется это просто. Добавьте в тест заведомо слабый вариант, вторичный, скучный и с невнятным сообщением. Если платформа не ставит его последним и не объясняет, чем он плох, ее оценкам остальных вариантов верить рано. Оговорюсь, что даже хорошо настроенная цифровая аудитория воспроизводит самый резкий негатив мягче живой, об этом ниже, в шестом критерии. Но это разница в силе отторжения, а отличить слабую идею от сильной она обязана.
Что спросить у вендора: можете ли показать тест, где цифровая аудитория единодушно отвергла идею? Что платформа делает со склонностью модели соглашаться?
4. Разброс мнений важнее среднего балла
Самое ценное, что я вижу в тестах на платформе, это моменты, когда одну и ту же идею один сегмент полюбил, а другой возненавидел. Для классического отчета такой результат неудобен: средний балл выходит посредственным, и идея тихо отправляется в корзину. Хотя на деле поляризация означает, что идея способна вызывать реакцию, а в рекламе это встречается куда реже, чем хотелось бы.
Чем больше людей видит рекламу, тем полнее проявляется весь спектр возможных реакций на неё. Если при широком охвате аудитория делится на тех, кто считает ролик гениальным, и тех, кто его ненавидит, значит, все получилось: дальнейший охват обеспечат сами реакции, потому что о таком спорят, такое пересылают и обсуждают. Худший вердикт для рекламы звучит как «в целом нормально», и именно его выдает любая система, которая показывает только среднее.
Поэтому платформа обязана показывать распределение: как реагирует каждый сегмент, где мнения расходятся и почему. То же касается противоречий между метриками. Девелопер Hansa тестировал у нас три баннера перед digital-кампанией, и по шести параметрам уверенно лидировал вариант с живым человеком и рассрочкой: ему больше симпатизировали и больше доверяли. Но когда респондентов просили выбрать один баннер, 94,6% выбрали рендер с продуктом без людей. Усредненный отчет этот конфликт бы просто стер. Клиент поступил умнее и запустил оба варианта на разных этапах воронки. Баннер с человеком дал лучший CTR, 0,66%, а рендер собрал меньше кликов, зато в четыре раза больше обращений в отдел продаж. Цифровая аудитория не ошиблась ни в одном из сигналов, просто сигналов было два.
Что спросить у вендора: показывает ли платформа распределение ответов по сегментам или только средние? Видно ли, где мнения внутри аудитории разошлись и где одна метрика противоречит другой?
5. Аудиторию можно собрать под себя
Базовые сегменты вроде «женщины 25−45 со средним доходом» хороши для быстрых задач, но настоящие решения обычно принимаются про более конкретных людей: участников вашей программы лояльности, покупателей премиальной линейки, закупщиков в сетях. Треть опрошенных «Анкетологом» считает синтетику рискованной именно для узких групп, включая лиц, принимающих решения в B2B, и в одном они точно правы. Чтобы цифровой респондент адекватно представлял редкую группу, модели нужны реальные данные именно по этой группе, иначе она заполнит пробелы стереотипами из медиа.
Отсюда критерий: платформа должна уметь строить кастомные сегменты на ваших данных, будь то выгрузки из CRM, результаты прошлых исследований или транскрипты интервью. Вместе с NewBiz мы собрали сегмент из 150 цифровых директоров по маркетингу на основе глубинных интервью с живыми CMO, чтобы агентства могли проверять питч-идеи еще до встречи с клиентом. Аудиторию труднодоступнее придумать сложно: живого CMO на часовой тест не позовешь, а цифрового можно спросить в тот же день и столько раз, сколько понадобится.
Что спросить у вендора: можно ли загрузить собственные данные и построить на них сегмент? Что платформа делает, если данных по нужной аудитории у нее нет?
6. Видно, почему персона так ответила и где платформа ошибается
Цифра без объяснения в исследованиях так же бесполезна, как идея без аргумента на защите в агентстве. Хорошая платформа показывает не только оценки, но и ход мысли каждого респондента: что он заметил, что понял, что его раздражило и почему он выбрал именно этот вариант. Для меня в этом вообще главная прелесть цифровой аудитории. Живой респондент в онлайн-панели редко пишет больше пары слов, а цифровой разворачивает аргументацию, и по ней сразу видно, где идея считывается, а где буксует. Заодно это лучший способ проверить саму платформу: логику ответа можно оценить глазами, и если она звучит как пересказ брифа, это тревожный сигнал.
Вторая половина прозрачности — готовность вендора назвать собственные ограничения. Смещения есть у любого метода: онлайн-панели страдают от профессиональных респондентов, фокус-группы зависят от модератора и самого громкого участника. Цифровая аудитория лучше живой знает бренды, рассуждает рациональнее там, где решение держится на личном физическом опыте, и мягче воспроизводит самый резкий негатив. Из этого следует простое правило: метод силен в когнитивной зоне, где человек оценивает идею, и слабее в сенсорной, где он ее проживает. Поэтому мы не советуем измерять на цифровых респондентах абсолютное знание бренда или вкус нового йогурта.
Вендор, который сам говорит, где ему нельзя верить, вызывает больше доверия, чем тот, кто обещает все. Если платформа не может перечислить свои слабые места, скорее всего, она их просто не измеряла.
Что спросить у вендора: видны ли развернутые ответы каждого респондента? Какие задачи вы сами не советуете решать на своей платформе?
7. Платформа встраивается в процесс и не требует выбросить остальное
Спор о том, заменят ли цифровые респонденты живых, на практике давно решен в пользу гибрида. По данным «Анкетолога», 17% уже регулярно совмещают синтетику с живыми выборками и еще 58% делают это время от времени, причём самый частый сценарий выглядит так: цифровая аудитория дает быстрый промежуточный замер, а живые люди подтверждают финальное решение. Поэтому смотреть стоит на то, в какой точке процесса платформа приносит максимальную пользу и как её результаты стыкуются с остальными исследованиями и с реальными метриками кампании.
Самое очевидное место — отсев. Из десяти концепций до дорогого количественного теста или продакшна должны дойти две-три, и цифровая аудитория позволяет отобрать их за день, а не за месяц.
Второе место — регулярность. Когда результат приходит за пятнадцать минут и тест не требует отдельного бюджета и согласований, проверка гипотез перестаёт быть событием и становится привычкой. Команда начинает проверять больше идей и, что важнее, делает это до того, как на них потрачены деньги.
Что спросить у вендора: на каком этапе ваши клиенты используют платформу чаще всего? Как ее результаты сопоставляются с последующими живыми исследованиями и реальными показателями кампаний?
8. Понятно, куда уходят данные и за что вы платите
На цифровых респондентах тестируют то, что еще не вышло: концепции, сценарии, упаковку, иногда стратегию целиком. Поэтому вопрос безопасности здесь острее, чем у обычного SaaS. Стоит выяснить, где обрабатываются материалы, используются ли они для обучения моделей, можно ли развернуть платформу в закрытом контуре и как она обращается с персональными данными, если сегменты строятся на выгрузках из CRM. Как правило, для крупных компаний предусмотрено несколько вариантов enterprise-архитектуры, и я бы советовал задавать этот вопрос любому вендору до пилота, а не после.
С деньгами интереснее. Опрос показывает, что рынок пока не готов платить за синтетику как за полноценное исследование: без оговорок на это согласны только 14%. Мне кажется, дело в том, что ее сравнивают не с тем. Цифровая аудитория редко отбирает задачу у количественного исследования, гораздо чаще она заменяет решение, принятое на совещании по ощущениям. Поэтому считать ее экономику стоит через стоимость ошибки, которую она помогает не совершить: снятого ролика, который не сработал, или питча, проигранного из-за идеи, которую можно было отсеять за день.
Что спросить у вендора: используются ли наши материалы для обучения моделей? Есть ли вариант закрытого контура? Как устроена оплата: за тест, по подписке или за проект?
Как проверить платформу за один день
Все восемь критериев можно проверить разговором с вендором, но есть способ быстрее и честнее. Возьмите тест, результат которого вы уже знаете: прошлое исследование с живой выборкой или кампанию, по которой есть реальные метрики. Прогоните те же материалы через платформу, не раскрывая ответа, и сравните три вещи: совпал ли лидер, похож ли порядок вариантов и нашлись ли те же аргументы в открытых ответах. Добавьте в набор один заведомо слабый вариант, чтобы заодно проверить, умеет ли цифровая аудитория говорить «нет». Такой слепой тест за день скажет о платформе больше, чем любая презентация, включая нашу.
Цифровые респонденты не нужны там, где решение держится на вкусе, запахе и прочем физическом опыте, где требуется абсолютное знание бренда или доля рынка, и там, где цена ошибки настолько высока, что финалистов все равно придётся показывать живым людям. Во всем остальном они дают то, чего индустрии давно не хватало: возможность проверять идеи до того, как на них потрачены деньги, и делать это так часто, чтобы проверка стала привычкой.