Вместе с CEO сервиса Fair Lab Марией Кесельман, экспертом по AI-персонам, Sostav решил протестировать коммуникацию, задействуя нейросети, и заодно разобраться, насколько полезную обратную связь можно получать от цифровых респондентов и как применять, чтобы не допустить провала.
Компания OpenAI, создатель ChatGPT, запустила масштабную рекламу в США и Британии. Серия состоит из трех роликов и показывает, как чат-бот помогает людям в бытовых ситуациях: в путешествиях, в мотивации для спорта и работе над собой, в приготовлении блюд для романтического ужина.
Маркетинговая исследовательская компания System1 протестировала коммуникацию с группой американских потребителей. Специалисты измеряли реакцию на основе универсальных эмоций: счастье, удивление, печаль, страх, гнев, отвращение и так далее. В результате тестирования все ролики не прошли порог в 20% по эффективности. Участники опроса часто не могли распознать продукт, пока не видели логотип ChatGPT в финале ролика и жаловались на слишком обобщенный сюжет, который ничего не говорит о применении чата.
Парадокс в том, что у компании были все ресурсы, чтобы протестировать идею с помощью искусственного интеллекта на любом этапе, поменять курс и не допустить провала.
Кто такие AI-персоны
Это цифровые респонденты, которые мыслят и реагируют, как реальные потребители. Их можно собрать под любой сегмент — по соцдем параметрам, интересам или по данным предыдущих исследований.
Какую аудиторию мы создали для тестирования рекламной кампании OpenAI
Для тестирования кампании мы смоделировали аудиторию, наиболее близкую к активным пользователям технологий — тех, кто активно пробует новые цифровые продукты и быстро внедряет их в повседневную жизнь. В выборку вошли жители крупных городов от 18 до 40 лет: студенты и молодые специалисты в сферах маркетинга, IT, образования, аналитики и креативных индустрий. Каждый из трех роликов оценивало 100 AI-персон.
Какой результат мы получили
Мы провели тест идеи трех роликов на платформе Fair Lab: респонденты отвечали на шкальные и открытые вопросы, оценивая коммуникацию по восьми параметрам — эмоциональное восприятие, понятность, сообщение, интерес, релевантность, соответствие бренду, заметность и вовлеченность. По каждому критерию AI-персоны выставляли оценки от 1 до 5 и давали развернутые комментарии.
Шкальные оценки агрегировались автоматически по заданной формуле: в общий показатель входила доля респондентов, поставивших 4 и 5 баллов по каждому критерию. Далее рассчитывался итоговый Total Score — средневзвешенный показатель по всем параметрам.
Аналитический модуль платформы обрабатывал массив текстовых ответов: группировал упоминания по ключевым темам, выделял эмоциональные паттерны и формировал короткие резюме по каждому вопросу. Благодаря этому в отчете мы увидели не только цифры, но и детальную обратную связь — какие именно моменты вызвали положительную или отрицательную реакцию.
По шкальному анализу выше среднего поднялись ответы только по критерию понятность — 74%. По остальным — оценки колебались от 5 до 40%.
Результаты по трем роликам оказались также низкими и совпали с данными System1 на реальных людях. Также мы дополнительно попросили респондентов оценить кампанию по десятибалльной шкале — средняя оценка составила 5,5.
Приведу наиболее показательные цитаты:
- «Герои и ситуации вообще не про меня».
- «Типичная американская реклама — у нас так никто не живет».
- «Сложно сказать, что прям зацепило. Атмосфера приятная, но без эмоций»
- «Блин, ну ничего особо не запомнилось — какая-то ни о чем история».
- «Музыка спокойная, картинка чистая — но это уже тысячу раз было».
- «Снято красиво, но как будто без души».
- «До финала вообще не ясно, о чем реклама».
- «Логотип спасает, иначе подумал бы, что это реклама дороги или автомобиля».
Как применить фидбек от AI-персон
Если обобщить ответы цифровых респондентов, можно выделить несколько закономерных наблюдений:
- бренд не встроен в сюжет, узнаваемость появляется только в финале, и часть аудитории просто не считывает, что именно рекламируется;
- визуально ролики безупречны, но не вызывают эмоций — зрители отмечают, что они «приятные», но «пустые»;
- ощущение низкой релевантности объяснимо: сервис Fair Lab сейчас нацелен на российский рынок, и цифровые респонденты оценивают кампанию из своих культурных особенностей, что делает их реакцию честной и естественной;
- также отмечено отсутствие оригинальности и слабая идея, не создающая интереса.
Что это значит
Совпадение с результатами «живых» тестов подтверждает точность AI-персон и показывает, как можно использовать их для проверки идей еще до выхода коммуникации. Это шаг к новому подходу маркетинговых исследований, который демонстрирует, что тестировать идеи можно еще до выхода кампании — быстро, масштабно и без риска дорогостоящих ошибок.
История с OpenAI — хороший пример того, как даже самые технологически продвинутые компании могут потерять связь с аудиторией. Поэтому сегодня особенно важны инструменты, которые помогают моделировать человеческое восприятие и возвращать его в коммуникацию — даже если оценивает ее искусственный интеллект.