Разбираемся, как устроены цифровые респонденты, почему демографии недостаточно для моделирования аудитории и как проверяют качество синтетической выборки.
Представим, что маркетинговая команда хочет выбрать одну из трёх рекламных концепций. Для этого она обращается к нейросети и просит оценить идеи от лица 300 потенциальных покупателей. Нейросеть выдаёт сотни подробных комментариев. Одни участники исследования хвалят креатив, другие указывают на недостатки. Кажется, что перед нами полноценная картина мнений аудитории.
Но есть проблема: языковые модели склонны усреднять ответы. В результате 300 цифровых респондентов могут воспроизводить примерно одну и ту же позицию, меняя лишь формулировки. Для маркетингового исследования это серьёзное ограничение. Если все респонденты рассуждают одинаково, невозможно увидеть различия между аудиториями, обнаружить неожиданные возражения и понять, для кого рекламная идея действительно работает. Поэтому создание цифровых респондентов начинается не с генерации ответов. Сначала необходимо сформировать профили, которые воспроизводят различия внутри целевой аудитории.
Цифровой, или синтетический, респондент состоит из двух основных частей.
Первая — профиль. Он описывает условного представителя аудитории: его характеристики, потребительские привычки, жизненные обстоятельства, ценности и особенности принятия решений.
Вторая — большая языковая модель. Она получает профиль и формирует ответы на вопросы исследования с учётом заданных характеристик.
Получается, что одна технология может отвечать от лица множества разных персон. Но только при условии, что их профили различаются содержательно. Если попросить нейросеть 300 раз представить типичного покупателя определённого продукта, она может воспроизвести один распространённый образ. Например, ответственного потребителя, который рационально сравнивает цены, изучает состав и выбирает оптимальное соотношение цены и качества.
В реальности даже люди со схожими социально-демографическими характеристиками принимают решения по-разному. Один покупает знакомый бренд по привычке, другой ориентируется на рекомендации друзей, третий готов экспериментировать, четвёртый не доверяет рекламе.
Именно эти различия важно учитывать при создании синтетической аудитории. Поэтому исследовательская платформа должна работать не только с количеством респондентов, но и с архитектурой их профилей. Подробнее о том, чем такой подход отличается от обычного запроса к нейросети, команда Fair Lab рассказывает в статье «А почему нельзя просто спросить у ChatGPT?» — четыре отличия.
Возраст, пол, доход и регион помогают определить, к какому сегменту относится человек. Но этих сведений недостаточно, чтобы объяснить его решения. Поэтому в Fair Lab профили цифровых респондентов дополняются поведенческими характеристиками, ценностями и контекстом.
На примере профессиональной аудитории директоров по маркетингу можно выделить пять слоёв профиля.
1. Контекст и роль
Первый слой описывает профессиональную ситуацию человека: индустрию, размер компании, структуру подчинения, наличие собственной маркетинговой команды.
Например, директор по маркетингу крупной федеральной сети и руководитель маркетинга небольшого технологического бизнеса работают с разными процессами согласования, ресурсами и ограничениями.
2. Поведенческие паттерны
Этот слой определяет привычный способ принятия решений. Насколько быстро человек реагирует на предложения? Предпочитает ли внимательно изучать детали? Готов ли принимать решения в условиях неопределённости?
Два руководителя могут занимать одинаковые должности, но совершенно по-разному оценивать агентский питч.
3. Ценности и приоритеты
Важную роль играет то, какие показатели человек считает определяющими. Один руководитель ориентируется прежде всего на долгосрочное развитие бренда. Другой сосредоточен на измеримых результатах рекламных кампаний. Третий готов экспериментировать, если видит перспективу роста.
Эти различия влияют на восприятие одной и той же идеи.
4. Когнитивные фильтры
Здесь учитывается то, каким аргументам человек доверяет и как интерпретирует информацию.
Кто-то предпочитает количественные данные, кто-то опирается на опыт и профессиональную интуицию. Одного заинтересует необычная механика, другой отнесётся к ней скептически, если не увидит убедительного обоснования.
Поэтому даже одинаково изложенное предложение может получить противоположные оценки.
5. Эмоциональные реакции
Последний слой описывает особенности эмоционального восприятия. Например, отношение к шаблонным презентациям, чувствительность к сторителлингу, реакцию на визуальную составляющую и особенности подачи материала.
Эти характеристики помогают моделировать не только рациональную оценку предложения, но и возможные причины интереса или раздражения. Все пять слоёв дополняют друг друга. Вместе они задают контекст, в котором цифровой респондент оценивает материалы исследования.
Представим, что цифровой респондент описан как осторожный покупатель с ограниченным бюджетом. В начале опроса он критически относится к дорогому продукту и объясняет свою позицию необходимостью экономить.
Но через десять вопросов модель начинает отвечать от лица человека, для которого цена уже не имеет значения.
Формально перед нами всё тот же респондент. Фактически его установки изменились. Такое смещение называют дрейфом профиля. Оно делает результаты менее последовательными: ответы одного участника исследования начинают противоречить исходным характеристикам.
Поэтому в Fair Lab профиль цифрового респондента фиксируется на протяжении тестирования. Если человек в начале анкеты ориентировался на цену, его дальнейшие ответы должны учитывать ту же установку. Это не означает, что каждый ответ будет одинаковым. Реакции могут различаться в зависимости от содержания вопросов, но исходный контекст сохраняется.
Так исследователь получает возможность сопоставлять ответы внутри одной анкеты и анализировать различия между респондентами.
Сложность формирования синтетической выборки зависит от того, какую аудиторию необходимо исследовать.
Для массовых потребительских сегментов могут использоваться базовые профили. Исследователь задаёт параметры аудитории: возраст, пол, географию, доход и поведенческие характеристики. На их основе платформа формирует набор цифровых респондентов.
С профессиональными или труднодоступными группами задача сложнее. Одного описания должности недостаточно, чтобы достоверно воспроизвести разнообразие рабочих ситуаций, мотиваций и критериев принятия решений. Для таких случаев Fair Lab использует кастомные сегменты, созданные с опорой на накопленные качественные данные.
В совместном проекте Fair Lab и NewBiz команда создала специализированный сегмент директоров по маркетингу. По данным компаний, основой стали 25 глубинных интервью продолжительностью 60–90 минут с руководителями маркетинговых направлений крупных российских и международных компаний.
После тематического анализа интервью исследователи выделили более 120 поведенческих маркеров. На их основе были сформированы 150 цифровых профилей. Таким образом, цифровая аудитория создавалась не из абстрактных представлений о типичном директоре по маркетингу, а с использованием материалов реальных интервью.
В результате получился инструмент для предварительного тестирования агентских предложений, креативных концепций и коммерческих офферов на специализированной аудитории.
Подробная методика и результаты проверки представлены в кейсе Fair Lab и NewBiz о создании цифрового сегмента директоров по маркетингу.
Даже подробный профиль не гарантирует, что синтетическая выборка будет пригодна для исследования. При формировании цифровых респондентов необходимо контролировать как минимум две характеристики.
Реалистичность профиля.
Характеристики должны сочетаться правдоподобно. Например, 24-летний руководитель с двадцатилетним профессиональным стажем — невозможная комбинация. Если система допускает подобные профили, их ответы трудно считать содержательной моделью реальной аудитории.
Поэтому Fair Lab проверяет совместимость характеристик и исключает неправдоподобные сочетания.
Разнообразие ответов.
Вторая задача — обнаруживать шаблонные и дублирующиеся реакции. Если респонденты с разными профилями отвечают одинаковыми словами и аргументируют позицию одним способом, это может указывать на усреднение, возникающее при работе языковой модели.
Однако само по себе совпадение мнений ещё не ошибка. Реальные люди тоже могут соглашаться друг с другом. Поэтому важно различать содержательное согласие аудитории и техническое дублирование ответов.
В Fair Lab заявлен контроль разнообразия профилей и ответов: шаблонные и дублирующиеся персоны исключаются до формирования отчёта.
Платформа позволяет создавать до 300 цифровых респондентов на сегмент. Но это максимальный размер набора профилей, а не гарантия статистической репрезентативности реального рынка.
Для маркетолога ценность исследования заключается не в самом числе участников, а в возможности увидеть разные реакции, аргументы и потенциальные барьеры внутри заданной синтетической аудитории.
Пять слоёв профиля, его фиксация и контроль качества уменьшают некоторые риски синтетических исследований. Но они не делают цифрового респондента полноценной заменой живого человека.
У метода есть систематические ограничения. Например, языковые модели могут демонстрировать более высокую осведомлённость о брендах, чем реальные потребители. Там, где решение зависит от непосредственного физического опыта, цифровые респонденты склонны рассуждать рациональнее людей. Кроме того, сильный негатив может воспроизводиться слабее, чем в живом исследовании.
Эти особенности влияют на интерпретацию результатов. Подробнее команда Fair Lab разбирает их в материале «Где синтетические респонденты ошибаются: три известных смещения и что с ними делать».
Поэтому реалистичность профиля и достоверность результатов — разные задачи. Первую решают через описание аудитории, контроль характеристик и настройку исследовательской процедуры. Вторую необходимо проверять сопоставлением результатов с исследованиями на живых людях.
По данным внутренней валидации Fair Lab, компания провела более 100 сравнительных тестов с совокупным участием свыше 12 000 живых и цифровых респондентов. В 87% тестов совпал выбор лидирующего варианта.
Это не означает, что цифровые респонденты с точностью 87% воспроизводят любое человеческое поведение. Речь идёт о конкретном показателе — совпадении первого места при сравнении вариантов.
Методика оценки, результаты и ограничения подробно описаны в статье Fair Lab о точности синтетических респондентов.
Такие результаты позволяют рассматривать синтетические исследования как инструмент предварительной проверки гипотез, рекламных концепций и коммуникационных решений. Но для задач, в которых важны реальные действия потребителей, сенсорный опыт или последствия дорогостоящего решения, может потребоваться дополнительная проверка на живой аудитории.
Цифровой респондент — это не отдельная искусственная личность с собственным жизненным опытом. Это модель ответов человека с заданными характеристиками. Поэтому качество синтетического исследования определяется не тем, насколько убедительно респонденты пишут или насколько подробно описаны их биографии.
Гораздо существеннее другие вопросы: какие данные использовались для создания профилей, сохраняются ли их характеристики, насколько реалистична выборка, как проверяется разнообразие ответов и с чем сопоставляют результаты. Именно эти условия помогают отличить исследовательский инструмент от множества правдоподобных ответов нейросети.
Подробнее об архитектуре цифровых респондентов, пяти слоях профиля и механике формирования выборки — в исходной статье Артёма Гонова в блоге Fair Lab.