Всем по десятке: как MaxDiff помогает выбрать рекламный аргумент

Компания готовит рекламную кампанию и просит потенциальных клиентов оценить восемь преимуществ продукта. Почти все получают по восемь, девять и десять баллов. Исследование выглядит успешным, но выбрать главное сообщение для рекламы по его результатам всё равно трудно. Как узнать, чем аудитория действительно готова пожертвовать ради более привлекательного предложения? Для этого используют MaxDiff — метод, в котором респонденты выбирают лучший и худший варианты из небольших наборов. Разберём, как самостоятельно составить такой опрос, обработать ответы и получить рейтинг рекламных аргументов.

Когда все варианты хорошие, выбрать всё равно нужно

Представим, что команда продвигает онлайн-сервис для совместной работы. У продукта есть несколько преимуществ, и маркетологу нужно определить, какие из них вынести в первые рекламные объявления.

Один специалист предлагает сделать акцент на бесплатном доступе. Другой считает, что аудитории важнее совместная работа с задачами. Третий уверен, что рекламировать нужно удобство карточек и чек-листов.

Каждый аргумент обоснован. Но разместить все преимущества в одном коротком рекламном сообщении невозможно.

Команда решает спросить потенциальных пользователей.

Участникам показывают восемь утверждений и предлагают оценить каждое по десятибалльной шкале. По результатам большинство формулировок получают высокие оценки. Разница между лидерами небольшая, и споры продолжаются.

Дело в особенности самого вопроса. Когда респондент оценивает утверждения по отдельности, ему не приходится выбирать между ними. Он вполне может считать семь преимуществ из восьми одинаково важными.

Но рекламная кампания требует приоритета.

В маркетинговых исследованиях для таких задач используют MaxDiff, или Best-Worst Scaling. Метод связан с работами исследователя Джордана Лувьера и применяется для оценки относительной привлекательности брендов, характеристик продуктов и рекламных утверждений.

Вместо вопроса «Насколько вам нравится каждый вариант?» участник получает другой: «Какой из этих четырёх аргументов для вас наиболее важен, а какой — наименее?»

Выбор становится обязательным. А повторение такого задания с разными сочетаниями вариантов позволяет построить рейтинг предпочтений.

Восемь рекламных сообщений для одного продукта

Для примера возьмём Канбано — бесплатный сервис онлайн-канбан-досок. Используем восемь сообщений, основанных на его возможностях.

Обозначим их буквами, чтобы было удобнее составлять опрос.

A — Вся команда работает бесплатно.

B — Отдельная доска для каждого проекта.

C — У каждой задачи есть ответственный.

D — Чек-листы для задач с несколькими шагами.

E — Сроки выполнения прямо в карточках.

F — Рабочие файлы прикреплены к задачам.

G — Фильтры для просмотра нужных задач.

H — Роли для разных уровней доступа.

Это восемь возможных рекламных акцентов. Мы пока не знаем, какой из них окажется наиболее привлекательным для целевой аудитории.

Важно, чтобы все формулировки были понятными без дополнительного объяснения и описывали реальные свойства продукта. Нельзя сравнивать привлекательное конкретное обещание с расплывчатой фразой вроде «Инновационное управление бизнесом» и затем делать вывод, что аудитория отвергает соответствующее преимущество.

Не стоит также включать одновременно несколько почти одинаковых сообщений. Например, «Работайте бесплатно всей командой» и «Не платите за дополнительных сотрудников». Они описывают близкие преимущества, поэтому могут раздробить внимание между похожими вариантами.

Перед запуском опроса полезно показать формулировки нескольким людям из целевой аудитории и убедиться, что они одинаково понимают их смысл.

Вместо восьми оценок — серия маленьких выборов

Теперь составим первое задание.

Представим, что потенциальный клиент выбирает сервис для команды. Ему показывают четыре утверждения:

A. Вся команда работает бесплатно.

C. У каждой задачи есть ответственный.

E. Сроки выполнения прямо в карточках.

G. Фильтры для просмотра нужных задач.

Респондент должен выбрать одно наиболее важное и одно наименее важное утверждение.

Допустим, он считает бесплатную работу всей команды главным преимуществом, а фильтры — наименее существенным из предложенных.

В этой ситуации мы получаем больше информации, чем от четырёх независимых оценок по десятибалльной шкале.

Но одного задания недостаточно. Возможно, тот же человек предпочёл бы другое утверждение, если бы увидел его рядом с бесплатным доступом.

Поэтому MaxDiff предполагает серию вопросов, в которых варианты встречаются в разных сочетаниях.

Здесь возникает важная техническая задача: нельзя просто случайным образом собрать несколько четвёрок.

Иначе один аргумент может встретиться семь раз, другой — два, а некоторые варианты вообще не появятся рядом друг с другом. Сравнение получится неравномерным.

Собираем 14 вопросов без случайного перекоса

Для нашего примера из восьми утверждений можно использовать специальную сбалансированную схему.

Каждый вопрос содержит четыре варианта. Всего вопросов четырнадцать.

Вот готовая последовательность, где буквы соответствуют рекламным сообщениям из предыдущего раздела.

Вопросы 1–7

01 — A, C, E, G

02 — B, D, F, H

03 — A, B, E, F

04 — C, D, G, H

05 — A, D, E, H

06 — B, C, F, G

07 — A, B, C, D

Вопросы 8–14

08 — E, F, G, H

09 — A, C, F, H

10 — B, D, E, G

11 — A, B, G, H

12 — C, D, E, F

13 — A, D, F, G

14 — B, C, E, H

У этой схемы есть интересное математическое свойство: каждое из восьми сообщений встречается ровно семь раз, а любая пара сообщений оказывается вместе ровно в трёх вопросах.

Таким образом, все варианты получают одинаковое число показов и одинаковую возможность сравнения друг с другом.

При настройке анкеты желательно также менять порядок расположения вариантов внутри вопросов, чтобы один и тот же аргумент не получал преимущества из-за постоянного нахождения на первой строке.

Каждому респонденту показывают все 14 заданий. В каждом он выбирает наиболее и наименее важное рекламное сообщение. Один и тот же вариант нельзя отметить одновременно как лучший и худший.

Четырнадцать вопросов — уже заметная нагрузка на участника. Поэтому перед основным исследованием стоит проверить анкету на небольшой группе: понятны ли формулировки, не устают ли люди и не начинают ли отвечать механически.

Для профессионального исследования обычно используют специализированные конструкторы MaxDiff, которые помогают формировать дизайн вопросов, собирать данные и рассчитывать модели предпочтений.

Но первоначальный эксперимент можно провести и в обычном конструкторе опросов, если он позволяет корректно реализовать выбор лучшего и худшего варианта.

Как из ответов получается рейтинг

Предположим, мы собрали ответы 30 потенциальных пользователей. Это учебный пример, а не реальное исследование Канбано.

Каждый человек ответил на 14 вопросов.

Получается 420 выборов наиболее важных утверждений и столько же выборов наименее важных.

Поскольку каждое сообщение показывали семь раз каждому участнику, общее количество показов одного аргумента составляет:

30 × 7 = 210 показов.

Теперь посчитаем, сколько раз каждый вариант выбирали лучшим и худшим.

Возьмём утверждение A — «Вся команда работает бесплатно».

Допустим, его выбрали наиболее важным 110 раз, а наименее важным — 12.

Для простого анализа применим формулу:

Оценка = (Количество выборов лучшим − Количество выборов худшим) ÷ Количество показов.

Для варианта A получаем:

(110 − 12) ÷ 210 = 0,467.

Или +46,7% при выражении результата в процентах.

Это не означает, что 46,7% людей обязательно выберут рекламу с таким сообщением. Число представляет собой нормированную разницу между положительными и отрицательными выборами в нашем наборе заданий.

Посмотрим на другой аргумент — H, «Роли для разных уровней доступа».

Предположим, его выбирали наиболее важным 16 раз, а наименее важным — 125.

Получим:

(16 − 125) ÷ 210 = −0,519.

Значит, в рамках данного опроса вариант H заметно уступает другим утверждениям по относительной привлекательности.

Отрицательное значение не означает, что функция бесполезна или не нужна пользователям. Оно говорит только о том, что среди предложенных рекламных аргументов её выбирали менее охотно.

Получаем рейтинг всех восьми сообщений

Предположим, после обработки учебных ответов мы получили такие значения:

A. Бесплатная работа команды — +46,7%.

B. Отдельные доски для проектов — +27,6%.

C. Ответственный у каждой задачи — +18,1%.

D. Чек-листы — +5,7%.

E. Сроки в карточках — −1,9%.

F. Файлы внутри задач — −14,8%.

G. Фильтры — −29,5%.

H. Роли доступа — −51,9%.

Все числа приведены для иллюстрации метода и рассчитаны на согласованном учебном наборе ответов.

В этом сценарии бесплатная работа команды получает самое высокое значение. Следом идут отдельные доски и назначение ответственных.

Это уже полезнее набора оценок от восьми до десяти. Мы видим выраженное различие между рекламными аргументами.

Но важно помнить: простой подсчёт лучших и худших выборов — предварительная оценка. В профессиональных MaxDiff-исследованиях используют статистические модели, например мультиномиальный логит или иерархическую байесовскую оценку. Они учитывают структуру предъявленных наборов и позволяют точнее анализировать предпочтения, в том числе на уровне отдельных респондентов.

Поэтому полученные нами проценты нельзя называть готовыми рыночными долями предпочтений или результатом полноценного модельного анализа.

Для первичного исследования, однако, такая таблица помогает увидеть, какие сообщения стоит изучить дальше.

Считаем результат в Google Таблицах

Обработка простого варианта MaxDiff не требует сложной программы.

Создайте лист с восемью утверждениями. Для каждого сохраняйте количество показов, число выборов «наиболее важное» и число выборов «наименее важное».

Допустим, в строке 2:

B2 — количество показов, 210.

C2 — количество выборов лучшим, 110.

D2 — количество выборов худшим, 12.

В ячейку E2 внесите формулу:

=(C2-D2)/B2

Вы получите 0,4667. Установите процентный формат и увидите 46,67%.

Далее повторите расчёт для остальных семи сообщений и отсортируйте результаты по убыванию.

Перед интерпретацией проверьте две вещи. Сумма всех выборов «наиболее важное» должна равняться общему количеству отвеченных заданий. То же самое относится к выборам «наименее важное».

В нашем учебном примере обе суммы должны составлять 420.

Если значения не совпадают, возможно, в данных есть пропущенные ответы, ошибки выгрузки или некорректно настроенные вопросы.

Сами по себе правильные суммы ещё не подтверждают качество исследования, но помогают обнаружить ошибки в первичной обработке.

Самый важный результат может скрываться внутри сегментов

Предположим, бесплатная работа команды победила в общем рейтинге.

Можно ли сразу запускать одну рекламную кампанию с этим сообщением?

Не обязательно.

Представим, что среди респондентов были владельцы небольших агентств, руководители отделов и самостоятельные специалисты. Для первых отсутствие платы за участников может оказаться решающим фактором. Для вторых большую ценность могут представлять роли доступа и распределение ответственности.

Если объединить ответы всех участников, особенности отдельных групп могут потеряться.

Поэтому перед исследованием нужно определить, чьё мнение нам действительно необходимо. Например, если продукт продвигают для небольших агентств, не стоит заполнять выборку случайными пользователями, которым вообще не требуется командная работа.

После сбора данных полезно сравнить результаты по значимым сегментам. Только следует учитывать, что при разделении небольшой выборки оценки становятся ещё менее устойчивыми.

Тридцать ответов из нашего примера подходят для объяснения расчёта, но их недостаточно, чтобы уверенно описывать предпочтения целого рынка. Размер реального исследования зависит от аудитории, необходимой точности и задач анализа.

Победа в MaxDiff ещё не означает победу в рекламе

Предположим, по результатам опроса команда решила сделать бесплатную совместную работу главным рекламным аргументом.

Это обоснованная гипотеза. Но она пока не доказывает, что соответствующее объявление получит лучший CTR или приведёт больше регистраций.

MaxDiff измеряет относительные предпочтения в заданных условиях опроса. Реальная реклама добавляет другие факторы: визуальное оформление, площадку размещения, аудиторию, контекст просмотра и конкретный призыв к действию.

Кроме того, метод обязательно выстроит варианты по порядку, даже если все восемь сообщений в действительности слабо мотивируют людей воспользоваться продуктом.

Поэтому следующий шаг — проверка наиболее перспективных формулировок в рекламных материалах.

Например, можно подготовить три варианта объявления: с акцентом на бесплатной работе команды, отдельных досках и распределении ответственности.

Затем сравнить их в корректно организованном эксперименте, оценивая не только клики, но и целевое действие — например, регистрацию.

Так MaxDiff помогает сузить поле поиска, а дальнейшее тестирование показывает, работают ли выбранные сообщения в реальных условиях.

Сам процесс удобно организовать на отдельной доске. В Канбано можно создать карточки для рекламных гипотез, назначить ответственных, прикрепить формулировки и результаты опроса, а затем фиксировать статус последующих проверок.

Сервис бесплатный, поэтому для такого эксперимента можно подключить сотрудников без дополнительных пользовательских лицензий.

Не спрашивать, что нравится, а заставить выбирать

MaxDiff особенно полезен в ситуациях, когда привлекательных вариантов много, но необходимо выбрать несколько.

Обычная оценочная шкала позволяет респонденту объявить важным практически всё. Метод лучших и худших вариантов заставляет сравнивать альтернативы и показывает, каким аргументам аудитория отдаёт предпочтение.

При этом он не заменяет исследование целевой аудитории, проверку смыслов и реальные рекламные эксперименты.

Для начала достаточно одного продукта, восьми сопоставимых утверждений и подготовленной серии вопросов. Соберите пилотные ответы, проверьте качество формулировок и попробуйте рассчитать предварительный рейтинг.

Возможно, наиболее привлекательным окажется преимущество, которое команда привыкла упоминать лишь в конце презентации. А аргумент, на котором строилась вся рекламная концепция, уступит более простому и понятному обещанию.

И это уже хороший повод перестать выбирать рекламные сообщения исключительно на внутренних совещаниях.