Тестирование изменений продукта: методы и инструменты

Алексей Вороной, гендиректор, исследовательская компания Infowave	Петр Манько, директор по маркетингу, исследовательская компания Infowave

Скорее всего, доказывать необходимость разработки новых продуктов и вывода их на рынок уже нет необходимости, равно как и не нужно доказывать необходимость предварительного тестирования новых продуктов. Однако (или именно поэтому) всегда интересно обсудить существующие методики тестирования нового товара и анализа полученных результатов. Прежде чем перейти к этой теме отметим, что под понятием «новый товар» может скрываться как действительно новый продукт, который больше не предлагает ни одна компания, действующая на рынке, так и небольшая модификация вкуса или упаковки уже знакомого покупателям продукта. И если первый вариант (принципиально новый товар) – это довольно большая редкость в наше время, то различные изменения товара – от модернизации до косметического обновления – встречаются очень часто. Данная статья будет посвящена именно тестированию изменений продукта, хотя те же методы вполне применимы и при тестировании абсолютно новых товаров.

Объекты тестирования

Под тестированием мы будем понимать изучение мнений потенциальных потребителей, увидевших (попробовавших или использовавших) исследуемый товар, позволяющее прогнозировать его дальнейший успех на рынке.

Тестирование позволяет выбрать из нескольких вариантов нового товара либо его элементов наилучший с точки зрения потенциальных потребителей (который сулит наибольший объем продаж), либо отказаться от всех имеющихся вариантов как от неудачных и разработать новый.

Как правило, объектами тестирования становятся:

·         Упаковка товара (изменение формы, объема, дизайна, информационного послания и т.д.);

·         Сам товар (новый вкус, цвет, форма, новые потребительские качества и т.п.);

·         Название товара (чаще – в ходе модификации или модернизации товара, при появлении новой формы продукта).

Основные этапы тестирования

Напомним, что в данной статье мы рассматриваем ситуацию, когда у нас уже есть несколько предварительно разработанных вариантов модификации продукта/названия/упаковки, и перед нами стоит задача выбрать из них наилучший с точки зрения потенциальных покупателей[1]. Предполагается, что характеристики потенциальных покупателей вы уже знаете. Рассмотрим основные этапы тестирования.

Этап 1. Определение основных параметров для тестирования

Цель данного этапа – выявить ключевые для целевой аудитории характеристики товара, на основании которых потенциальные покупатели делают свой выбор.

Отметим, что в случае если вы разрабатывали варианты товара/упаковки/названия самостоятельно (либо с помощью специализированного агентства), то основные параметры, влияющие на принятие решение о покупке, у вас уже определены. Если же этот этап еще не пройден, то для выявления ключевых характеристик можно использовать:

·         Фокус-группу.

·         Включенное наблюдение.

Вариант 1: фокус-группа. В ходе фокус-группы необходимо выяснить, какие требования потенциальные покупатели предъявляют к товару (его упаковке или названию), на какие характеристики они обращают внимание в первую очередь при выборе товара. При этом важно избежать двух наиболее распространенных ошибок:

·         Ошибка 1. Участники фокус-группы не являются представителями целевой аудитории. В результате исследования мы, безусловно, получим список характеристик, имеющих значение при выборе товара, но совсем не обязательно, что эти характеристики будут важны для наших целевых потребителей.

·         Ошибка 2. Попытка совместить фокус-группу с тестированием товара. Здесь есть риск получить неправильный результат, в силу того что:

o       в ходе фокус-группы мы можем получить только качественную оценку, которую обязательно нужно подтвердить количественной;

o       искажаются реальные условия – если в жизни покупатель осуществляет выбор товара за несколько секунд или минут (в случае с товарами повседневного спроса), то на фокус-группе для этого ему отводится 1,5 - 2 часа.

Вариант 2: включенное наблюдение [2]. Технически оно может выглядеть следующим образом: в строительном магазине исследователь под видом обычного покупателя наблюдает за процессом выбора строительного инструмента другими покупателями, с некоторыми из них беседует на тему – на что обращают внимание, почему нравится/не нравится та или иная модель и т.п. Причем в данном случае исследователь не должен сильно отличаться от среднего покупателя по социально-демографическим характеристикам. Например, для наблюдения за покупателями уже упоминавшегося строительного инструмента в качестве исследователя не стоит посылать девушку-студентку.

Возникает вопрос – какой метод лучше использовать – включенное наблюдение или фокус-группу? На наш взгляд, у обоих методов есть свои преимущества и недостатки, и выбирать нужно, исходя из конкретной ситуации: типа тестируемого товара, особенностей его приобретения, потребления и особенностей потенциальных покупателей. Обозначим лишь основные особенности каждого метода:

·         Основное преимущество фокус-группы в том, что она позволяет за короткий промежуток времени собрать максимум информации об особенностях выбора того или иного товара. Однако «управляемость» фокус-группы, позволяющая получить такой результат, влечет за собой и погрешности – вся информация, полученная в ходе фокус-группы, проходит предварительно «внутренний фильтр», т.е. участник фокус-группы может неосознанно описывать не те критерии, которые он действительно использует при выборе товара, а те, которые считает нужным использовать.

·         Основное преимущество включенного наблюдения – это «живое», неуправляемое извне поведение покупателей, их комментарии непосредственно в момент выбора данного товара (а не спустя несколько часов, дней или месяцев). Однако за такую непосредственность приходится платить – во-первых, наблюдение в ряде случаев более растянуто по времени, чем фокус-группа, а во-вторых, наблюдателю сложно, не выходя из образа, получать полные комментарии по интересующему его вопросу. Также не следует забывать (что иногда случается с некоторыми заказчиками) о необходимости оплачивать магазинам право проведения исследований на их территории.

Из собственного опыта можем добавить, что включенное наблюдение имеет смысл применять при подборе характеристик для тестирования товаров длительного пользования, выбор которых занимает более длительное время.

По результатам данного этапа разрабатывается анкета для проведения тестирования.

Этап 2. Разработка анкеты

Вопросы для анкеты составляются с учетом того, какие характеристики тестируемого товара (упаковки, названия) наиболее важны для потребителей. Например, если мы тестируем новую упаковку для охлажденного мяса, то важными с точки зрения целевых потребителей характеристиками такой упаковки могут оказаться ее вес, цвет, возможно, материал, содержание этикетки и т.п.

При этом совершенно недопустимо ограничиваться вопросом, нравится потенциальному покупателю новая упаковка или нет, и какой вариант нравится больше. Для повышения достоверности полученных результатов необходимо использовать дополнительные вопросы, повышающие точность покупательской оценки.

1. Оцените каждый из вариантов названия по 7-балльной шкале, где «1» означает наименьшую степень вашей симпатии, а «7» – максимальную.
2. Какое название для нового торгового комплекса из этих двух вам нравится больше всего (попарно предъявляются все варианты названий для торгового комплекса).
3. Оцените, пожалуйста, по 7-балльной шкале, насколько каждое из названий торгового комплекса вызывает у вас намерение его посетить («1» – минимальная степень готовности посетить, «7» – максимальная).
4. Какой вариант названия торгового комплекса вам нравится больше всего? Какой вариант названия нравится меньше всего?
5. Какие ассоциации у вас возникают в связи со следующими вариантами названий для нового торгового комплекса (по каждому варианту отдельно).
Насколько каждое из названий подходит для нового торгового комплекса с таким внешним оформлением (показать рисунок проекта ТК) и следующими торговыми марками (показать список марок, представленных в ТК). Оцените по 7-балльной шкале, где «1» балл – абсолютно не подходит, а «7» баллов – совершенно подходит.

В приведенном выше примере фактически один и тот же вопрос – «Какое из названий вам нравится больше для нового торгового комплекса?» – задан шестью различными способами, каждый из которых выявляет новый аспект отношения потенциальных посетителей к каждому варианту.

Остановимся на основных типах вопросов, используемых в анкетах тестирования изменений товаров:

• Monadic-Test. В ходе данного теста респонденты оценивают каждый вариант товара/упаковки/названия (как в целом, так и по наиболее важным для ЦА параметрам) отдельно друг от друга. Таким образом, исключается взаимовлияние вариантов названия при оценке. Данный тест моделирует реальную ситуацию и предоставляет абсолютную оценку названий.

Пример:

Задача – определить, какое из тестируемых названий лучше воспринимается целевой аудиторией:

«Посмотрите на это название для охлажденного мяса (Вариант А). Оцените по 7-балльной шкале степень вашей симпатии, где «1» означает наименьшую степень вашей симпатии, а «7» – наибольшую».

• Pair comparison (парное сравнение). Тест парного сравнения используется с целью получения оценки одного варианта относительно другого. Преимущества данного вида теста проявляются в возможности избежать завышенных или заниженных оценок; по сути, тест является усовершенствованным методом ранжирования.

Примеры:

• «Какое название для нового торгового комплекса из этих двух вам нравится больше всего?»

 1. Вариант А или Вариант В;

2. Вариант А или Вариант С;

3. Вариант В или Вариант С.

• Дихотомия. Данный тип теста предлагает респонденту выбрать один наиболее привлекательный и один наименее привлекательный вариант.

Пример: Как вы думаете, в какой сети магазинов продается самое качественное охлажденное мясо (спонтанно, только один вариант ответа)? А в какой сети магазинов продается самое некачественное охлажденное мясо (спонтанно, только один вариант ответа)?

• Chip game (метод распределения фишек или шкалирование с постоянной суммой). В данном случае респондентов просят распределить постоянную сумму баллов, фишек или, например, рублей, между объектами сравнения по определенному критерию. Как правило, число фишек не должно позволять поделить их поровну между всеми сравниваемыми объектами (например, если сравниваются два объекта, число фишек лучше сделать нечетным).

Пример: Разделите, пожалуйста, семь баллов между двумя вариантами названия. Например, вы можете поставить одному названию четыре балла, а другому три.

• Свободные ассоциации. Суть этой техники состоит в том, что участников просят высказать первое, что им приходит на ум в связи с предъявлением того или иного продукта, рекламы, названия и т.д. Применение этой техники основано на предположении, что в неподавляемых ассоциациях проявятся несознаваемые или невысказываемые установки, которые нельзя выявить другими средствами.

Пример: Скажите, пожалуйста, что первое вам приходит на ум, когда вы слышите название «А»? Какие ассоциации у вас возникают в связи с названием «А»?

Если для какого-то вопроса необходимо показать респонденту несколько карточек, не следует забывать об их ротации (следующим респондентам карточки показываются в другом порядке, порядок ротации карточек должен быть описан в анкете). Подобная ротация позволяет исключить перекос ответов в какую-либо сторону, вызванный порядком, в котором респондентам предъявлялись карточки с вариантами названий товара или упаковки.

Этап 3. Тестирование

Итак, анкета составлена, можно переходить к процедуре тестирования.

Чаще всего оптимальным методом тестирования изменений продукта является hall-тест.

Мы используем (и рекомендуем) hall-тест по следующим причинам:

• необходима количественная оценка восприятия потенциальными покупателями изменений продукта;
• в ходе тестирования почти всегда необходимо предъявлять респондентам образцы, карточки с изображением товара или его элементов;
• обстановка тестирования должна быть максимально приближена к условиям, в которых совершается покупка (например, на оценку каждого варианта продукта респондент должен затрачивать примерно столько же времени, сколько тратит на выбор аналогичного продукта в магазине).

Для получения достоверных результатов обычно достаточно опросить порядка 200-400 представителей целевой аудитории. Однако чтобы при таком количестве опрошенных получить достоверные результаты, необходимо включить в анкету блок вопросов для проверки соответствия респондента характеристикам целевой группы.

Этап 4. Анализ полученных результатов

Данные собраны, и можно переходить к анализу полученных результатов. Остановимся на методиках анализа каждого из представленных типов вопросов.

• Monadic-Test

Вариант 1. Распределение по степени симпатии

Вариант 2. Сопоставление респондентов, по-разному оценивших степень симпатии к каждому из тестируемых названий

Часто бывает, что средние значения оценок каждого названия отличаются незначительно, а если учесть статистическую ошибку для средних значений, то расхождения в уровне восприятия становятся не очевидны. Для подтверждения достоверности результатов может быть использован t-критерий Стьюдента^[3].

Для приведенного выше примера, результаты проверки позволяют с 95% долей вероятности утверждать, что название «Марка А» воспринимается целевой аудиторией лучше, чем название «Марка Б».

• Pair comparison (парное сравнение)

Напомним, что в данном тесте респондент сравнивает все пары объектов из заданного списка по какому-либо заданному критерию, указывая каждый раз более предпочитаемый объект.

Наиболее наглядно проиллюстрировать методику анализа результатов парного сравнения можно при помощи матрицы:

Матрица заполняется по следующим правилам:

1. Клетки, находящиеся на главной диагонали, не заполняются, т.к. отражают сравнение конкретной марки с самой собой.
2. Если марка, находящаяся в заголовке столбца, более привлекательна для респондента, чем марка, находящаяся в заголовке строки, то в клетке ставится 2, если менее – 0, если марки в глазах респондента равнозначны – 1.
3. Заполняется только левая нижняя часть матрицы, правая верхняя является ее зеркальным отображением.

Далее баллы, полученные каждой маркой, суммируются – в результате мы получаем ранжированный список марок, отражающий предпочтение конкретного респондента. В данном примере этот рейтинг будет выглядеть следующим образом: Марка Е > Марка А > Марка В и Марка D > Марка С.

Чтобы получить общий рейтинг марок, отражающий мнение всех принимавших участие в опросе респондентов, необходимо сложить итоговые баллы каждого респондента.

• Дихотомия

Напомним, что с помощью данного теста легко можно определить наиболее и наименее привлекательную марку товара.

Можно сделать вывод, что каждый второй респондент отметил в качестве наиболее привлекательного варианта Марку Е (54%). Меньше всего участникам исследования понравились Марка В (39%) и Марка С (35%).

• Свободные ассоциации. Анализ свободных ассоциаций предполагает известную степень творчества, поэтому можем лишь в качестве примера предложить вариант группировки, использованный нами при выборе названия для охлажденного мяса:
• Разделение всех ассоциаций по каждому названию на положительные, нейтральные и отрицательные;
• Разделение ассоциаций на относящиеся к исследуемой товарной группе, нейтральные и не относящиеся к исследуемой товарной группе;
• Выделение наиболее часто встречающихся ассоциаций (по каждому названию);
• Выделение групп ассоциаций (по каждому названию).

Этап 5. Принятие решения на основе тестирования

На основе анализа полученных данных можно принимать решение о том, какой именно товар (упаковка, название) больше понравился целевой аудитории, и, соответственно, достоин вывода на рынок. При этом может возникнуть и такая ситуация, когда потребители не видят между товарами (упаковками, названиями) особой разницы и считают все предложенные варианты неудачными. В таком случае имеет смысл повторить все шаги – от выявления мнений потребителей относительно того, что бы они хотели усовершенствовать в изменяемом товаре до повторного тестирования заново разработанных вариантов.

Надеемся, данная статья поможет избежать тех неудач, которые подстерегают новый или модернизированный продукт при выходе на рынок.