05 декабря 2016 г.

Интерактивные анкеты

Не отвлекут ли flash-элементы респондента от его прямой обязанности – думать над ответами онлайн анкеты

Сергей Некрасов
Директор по развитию
новых продуктов
Online Market Intelligence
Объемы использования онлайн опросов в современных маркетинговых и социологических исследованиях стремительно растут. За последние несколько лет они из «экзотики» превратились в один из привычных способов сбора данных, обладающий своими преимуществами и недостатками.

С момента появления онлайн опросов изменилось многое: способы организации и проведения онлайн опроса, инструменты рекрутинга, механизмы контроля процесса сбора данных и т.д. Что еще важнее, изменилась сама Веб среда и ожидания пользователей от пребывания в ней. Так, современный Интернет сайт уже невозможно представить без продуманного, выверенного дизайна. Веб-сервисы привлекают потенциальных пользователей не только все более совершенным функционалом, но и новшествами из разряда «юзабилити»: онлайн сервисы, да и компьютерные интерфейсы в целом, становятся сегодня все удобнее, а к хорошему, как известно, привыкаешь быстро.

На этом фоне все улучшающегося качества веб-сервисов особенно «отличаются» онлайн анкеты, причем отличие это отнюдь не в положительную сторону. Анкеты в основной своей массе, по-прежнему остались на экране респондента такими, какими были несколько лет назад: громоздкими и не всегда качественно сверстанными. В особенности это касается «табличных вопросов», столь часто используемых маркетологами. Таблицы, которые приходится заполнять респондентам, часто не помещаются на экран, а то и на несколько экранов. Даже «материально замотивированным респондентам» выдержать такое непросто, что становится причиной роста доли «начатых, но не законченных анкет», аномально быстрого прохождения таблиц и т.д. Но так ли обязательны эти «табличные формы», да и вообще – скупость изобразительных средств, «серьезность» онлайн анкеты? Если на бумаге табличную форму подачи информации заменить чем-либо трудно, то в онлайн среде на помощь могут прийти современные интерактивные элементы, основанные на flash-технологии. Однако с началом их использования могут появиться и новые проблемы. Как повлияют интерактивные элементы на качество данных? Проведенное нами исследование позволяет ответить на некоторые возникающие здесь вопросы.

Что измеряли

Главной целью исследования была проверка гипотезы о позитивном воздействии интерактивного инструментария на качество данных онлайн опроса. Мы выделили несколько элементов макета онлайн анкеты, влияющих на ее восприятие (см. Табл. 1)

Таблица 1. Факторы, влияющие на восприятие анкеты


Базовые факторы

Состав базового фактора

Логика построения вопроса и его представление на экране

Месторасположение вопросов на экране, принципы их выравнивания

 

Количество одновременно выводимых на экран вопросов

 

Возможность и легкость перехода между вопросами для респондента

 

Наличие, вид и объем справки для респондента, которой можно воспользоваться в ходе опроса

Форма используемых вопросов

Основные типы используемых вопросов: закрытые/открытые; радио- и чек-кнопки, ролевые схемы и т.д.;

 

Способ организации вопроса. Например, табличный вопрос можно представить в стандартном виде, как таблицу, а можно по drag-and-drop схеме.

Цветовое оформление и графические элементы анкеты и отдельных вопросов

Логотипы и пиктограммы, сопровождающие вопросы

 

Использование анимации: как для схемы формата вопроса (например, полевой или drag-and-drop), так и для справки, сопроводительных логотипов и т.д.;

 

Использование мультимедиа: аудио- и видеоэлементов

Под качеством данных мы понимали параметры, указываемые обычно в стандартных классификациях источников систематических ошибок, за исключением ошибки выборки, которая не является в данном случае анализируемым фактором (см. Табл. 2).

Таблица 2. Виды ошибок, допускаемых респондентами при заполнении анкеты


Параметр

Элементы основных парамеров

Ошибка «неответов» (non-response error)

Незавершенный опрос (partial non-response

 

Пропущенные вопросы (item non-response)1

Ошибка измерения (measurement error) как отклонение полученных ответов от их реального значения

Общие требования валидности и надежности

 

«Правдоподобие» ответов, в т.ч. выявление заведомо ложных данных, отсев спидсеттеров, заполняющих анкету аномально быстро.

Удовлетворенность пользователей и ее связь с ошибками неответов и измерения

Прямые оценки: на основе вопросов о том, насколько им понравился этот опрос (часто добавляют в конце опроса

 

Косвенные оценки, в т.ч. время, потраченное на опрос, число символов в ответах на открытые вопросы, ответы на необязательные вопросы

 

 

Примечание 1. В большинстве современных анкет, пропустив вопрос, нельзя перейти к следующему. Поэтому в данную категорию часто относят количество выбранных вариантов «затрудняюсь ответить», а также неприемлемых ответов (например, случайные буквенные сочетания вместо ответа на открытый вопрос).

Наиболее комплексный параметр из перечисленных выше – это удовлетворенность пользователя. Она прямо связана с остальными двумя критериями, а иногда и является существенной причиной их низкого уровня. Так, слишком длинный или монотонный опрос может привести к простому «пролистыванию» вопросов и заполнению их случайным образом. Мы полагаем, что достаточно одного подобного негативного опыта, чтобы в дальнейшем респондент был склонен вести себя схожим образом.

Дизайн исследования

В опросе принимали участие 432 жителя городов-миллионников в возрасте от 16 до 44 лет. При планировании исследования мы стремились получить оценку качества данных, полученных с использованием интерактивного инструментария и без него. Кроме того, важно было проводить экспериментальный опрос в «условиях, максимально близких к боевым», т.е. использовать не индивидуально запрограммированные в единственном экземпляре анкеты, а обычные, «взятые с конвейера». Работа с прямым программированием анкет не позволила бы обоснованно оценить трудоемкость создания опроса. Никакие преимущества в качестве данных или удовлетворенности респондентов не могли бы рассматриваться как значимые для улучшения схемы онлайн опросов, если бы они привели к отказу от их базовых преимуществ онлайн опросов – скорости проведения и низких цен.

В итоге, мы решили сравнить два вида анкет:

- стандартная, написанная на html, т.е. соответствующая «бумажному» аналогу;

- «flash опросник», позволяющий легко интегрировать любые графические и мультимедийные интерактивные элементы.

Первая модель (html) была реализована на одной из наиболее популярных в мире систем для онлайн опросов - Net-MR от компании GMI. Вторая — на собственной платформе для Flash опросов, которая была разработана автором статьи. Отметим, что система, разработанная нами, прошла к моменту тестирования более десятка коммерческих запусков для проведения маркетинговых исследований.

Кроме интерактивных элементов мы исследовали влияние присутствия в анкете логотипов и других изображений на качество данных. Дело в том, что в обычных оффлайн опросах изображения и логотипы принято использовать либо в виде отдельных карточек, либо в анкете, когда сами изображения являются частью инструментария или тестируемым объектом. Мы предполагаем, что присутствие изображений в веб-среде является «нормой», а потому их восприятие может быть иным в сравнении с бумажным вариантом.

Таким образом, в исследовании проводилось сравнение данных, полученных от четырех анкет, оформленных различным образом. Общая выборка была случайно разбита на четыре части с соблюдением равного представительства респондентов по полу и возрасту внутри групп. Респонденты из каждой группы (подвыборки) участвовали в опросе, выполненном по одной из следующих схем:

1. html без логотипов;

2. html с логотипами;

3. Flash без логотипов;

4. Flash с логотипами.

Качество данных и степень удовлетворенности респондентов, заполнивших анкеты, мы оценивали по следующим параметрам:

1.    Время заполнения анкеты в целом;

2.    Время заполнения контрольных вопросов (как открытых, так и закрытых);

3.   Успешность преодоления «ловушек» на внимательность чтения анкеты.

4.  Число символов в открытых вопросах;

5.  Количество выбранных вариантов ответов в вопросах с множественным выбором;

6.  Прямые оценки удовлетворенности респондентов различными элементами анкеты, в т.ч.:

а   Графическим оформлением анкеты;

b.   Темой опроса;

c.    Длиной анкеты;

d.   Опросом в целом.

Основные результаты

Полученные нами данные свидетельствуют о том, что использование интерактивных элементов в сочетании с логотипами и изображениями уменьшает среднее время заполнение анкеты (рис. 1). При этом, чем больше интерактивных элементов, тем меньше время заполнения, несмотря на то, что страницы с flash-элементами и изображениями (логотипами) загружаются, в среднем, несколько дольше.

Рис. 1. Среднее время опроса, с



Влияние формы представления вопроса на качество данных мы проверяли, используя пять табличных вопросов: четыре из них были «классические», т.е. с возможностью выбора одного ответа в строке; еще один — с возможностью выбора нескольких ответов по каждому из объектов.

В html анкетах все таблицы были выполнены в традиционном виде, повторяющем «бумажный». Во Flash анкетах эти же вопросы задавались с использованием «перетаскивания» (drag-and-drop) элементов ответа или клика на них. Такая схема позволила нам сравнивать результаты одних и тех же по содержанию вопросов, но заданных в разной форме.

Как показали результаты дисперсионного анализа полученных в ходе эксперимента данных (см. Табл. 3), добавление интерактивных элементов в табличные вопросы с одним ответом в строке приводит к значимому снижению времени на ответ (F4,425 = 3,022; p = 0,018).

 

Таблица 3. Среднее время заполнения табличных вопросов с единственным ответом, с


Форма вопроса

Вопрос 1

Вопрос 2

Вопрос 3

Вопрос 4

html без логотипов

141

225

151

192

html с логотипами

158

124

166

73

Flash без логотипов

107

139

72

126

Flash с логотипами

130

172

72

127

При этом, повышение скорости заполнения анкеты не снижает концентрацию внимания респондентов. Этот вывод мы сделали, проанализировав результаты ответов на «вопросы-ловушки». Они были сформулированы так:

Это высказывание для проверки Вашего внимания. Пожалуйста, выберите для него вариант «Полностью согласен».

По результатам сравнения всех четырех подвыборок по тесту Краскела — Уоллиса  значимых различий выявлено не было (р = 0,136).

Таблицы с множественным выбором – это, пожалуй, наиболее сложный для восприятия элемент. Могут ли логотипы и интерактивные элементы облегчить жизнь респонденту? Наши исследования показывают, что да, могут, но есть важные детали.

Как видно из Таблицы 4, появление логотипов существенно снижает время заполнения анкеты. Однако появление в анкете Flash-элементов не только не приводит к повышению скорости, но и уменьшает число ответов, которые дает респондент (напомним, в данном случае, их может быть несколько). Означает ли последнее ухудшение качества данных? На наш взгляд, не означает.

Панелисты, регулярно участвующие в опросах, постепенно приобретают опыт. Именно он и позволяет им быстро заполнять довольно объемные анкеты. В данном случае, они столкнулись с новой для себя моделью (оцениваемые бренды располагались в столбцах, а не строчках, как обычно). Здесь нельзя просто «пройтись по всем строкам», а необходимо выбирать и «перетаскивать» подходящие характеристики к некоторым брендам. То есть, заполнение анкеты требовало от респондентов большего, чем обычно внимания, а, значит, и качество получаемых данных, скорее всего, выше.  

Таблица 4. Показатели для табличного вопроса с возможностью множественных ответов


 

Среднее количество ответов

Среднее время, потраченное на вопрос в целом, с

Среднее время на один ответ, с

html без логотипов

26,91

167

8,0

html с логотипами

30,65

110

4,8

Flash без логотипов

17,87

185

13,7

Flash с логотипами

16,93

163

12,1

Для оценки уровня удовлетворенности респондентов мы использовали два открытых вопроса: один практически в самом начале, другой — в конце. Характерно, что ответы на первый вопрос не различались ни по длине среднего ответа (число символов), ни по времени, затрачиваемом на ответ. На расположенный в конце анкеты второй вопрос люди отвечали иначе. Во Flash опросах средняя длина ответов респондентов, по сравнению с html, увеличилась на 12-15%. Добавление изображений и логотипов также приводило к росту количества символов в ответе в среднем еще примерно на 5%.

С учетом того, что во всех четырех опросах присутствовал индикатор прохождения опроса и респонденты знали, что данный вопрос — заключительный, подобные результаты могут рассматриваться как один из способов оценки удовлетворенности от участия в опросе.

Респондентам задавались и прямые вопросы, касающиеся их впечатления от опроса. В духе проводимого эксперимента, они были заданы как в традиционной табличной форме, так и в виде интерактивного слайдера (число вариантов ответов в обоих случаях было одинаковым). Как следует из Рис. 2 интерактивность анкеты людям понравилась, а вот наличие логотипов мало повлияло на их оценки.

Рис. 2. Средний уровень удовлетворенности респондентов по прямым оценкам



Заключение

Полученные результаты в целом согласуются с нашими предположениями о повышении качества данных за счет использования в анкете интерактивных элементов. Их появление, как правило, приводило к значимому снижению времени заполнения анкеты. Более того, снижение времени происходило без потери качества по анализируемым критериям, а оценки удовлетворенности опросом оказались во Flash варианте значительно выше. Не столь однозначными оказались выводы по воздействию изображений и логотипов: здесь основной итог заключается в том, что это воздействие существует, и оно может проявляться как в положительную, так и в отрицательную с точки зрения качества данных сторону.

Полученные итоги отнюдь не означают, что все онлайн опросы должны быть переведены на Flash. Тем не менее, при относительно длинной анкете, использовании громоздких и сложных для респондента вопросов продуманное включение интерактивных элементов может способствовать повышению качества данных.

Сергей Некрасов, Online Market Intelligence (OMI)
Публикуется в сокращении. Полностью статья опубликована в сборнике «Онлайн исследования в России 2.0», М., 2010.

04.05.2010


Тренды в маркетинге

Как говорят финансисты, "поздно нести деньги в ПИФ, когда соседка тетя Шура подходит к вам с вопросом о том, в какой из них лучше пристроить свои сбережения". Фраза докризисная, но актуальная, если вместо ПИФов подставить: да все что угодно. Действовать надо "в противоход", но обоснованно. Когда есть понимание того, какие из незаметных пока подвижек могут стать мейнстримом, и, наоборот, что надо сохранить, несмотря на сбивающий с курса ветер. Об этом мы и будем говорить в рубрике "Тренды в маркетинге". Авторами материалов могут стать как сами участники рынка, маркетологи, буквально, кожей чувствующие изменения, так и журналисты, способные задать "правильные вопросы правильным людям".
Партнер проекта - портал r-trends
Мнение редакции может не совпадать с мнением автора
Публикации
2013
развернуть
2012
развернуть
2011
развернуть
2010
свернуть
01.12
04.10
09.08
03.08
26.07
19.07
22.06
15.06
24.05
17.05
04.05
29.03
22.03
15.03
09.03
24.02
15.02
08.02
01.02
25.01
18.01
2009
развернуть

© Состав.ру 1998-2016, фирменный стиль Depot WPF

тел/факс: +7 (495) 225 1331 адрес: 109004, Москва, Пестовский пер., д. 16, стр. 2

При использовании материалов портала ссылка на Sostav.ru обязательна!
Администрация Sostav.ru просит Вас сообщать о всех замеченных технических неполадках на E-mail
  Рассылка 'Sostav.ru - ежедневные новости маркетинга, рекламы и PR.'   Rambler's Top100         18+   Словарь маркетинговых терминов