11 декабря 2016 г.

Не панелью единой или онлайн-анкета хорошая и плохая

Артем Тинчурин,
Генеральный директор
Tiburon Research
Все знают, что онлайн-исследования – это в первую очередь онлайн-панель (online access panel). Качество панели действительно критично для качества собираемых данных, но только ли оно? Любой опрос – это люди и то, как мы этих людей опрашиваем. Если за «качество» людей отвечает организатор панели, то за качество процесса опроса – тот, кто пишет анкету и, в случае онлайн-опроса, тот, кто ее программирует.

От чего зависит качество онлайн-анкеты и зависит ли вообще? Для того, чтобы ответить на этот вопрос мы провели параллельный тест и сравнили данные полученные при помощи «хорошей» и «плохой» анкет.

Предыстория

Все началось с заботы о собственной панели. Отслеживая базовые показатели удовлетворенности участников панели InternetOpros.ru, мы пришли к выводу, что не все анкеты одинаково полезны:

Иностранные анкеты

Локальные анкеты


Законченных анкет (от тех, кто прошел отбор)

80%

92%


Удовлетворенность панелистов опросом (top-2, 4-балльная шкала)

82%

93%


Источник: данные Tiburon Research (панель InternetOpros.ru), 468 проектов.

Невооруженным глазом видно, что российские анкеты панелистам нравятся больше. У иностранных анкет много проблем и это не только язык и релевантность тем опросов, но и, как ни странно, сравнительно низкое качество программирования (форматирование, переходы, логика работы вопросов и т.д.).

Т.к. качество программирования анкет вещь субъективная, мы решили проверить, есть ли под нашими субъективными оценками реальная база и провели натурный эксперимент.

Дизайн эксперимента

Для исследования мы выбрали нейтральную и популярную тему – новостные сайты, написали анкету на заданную тему и запрограммировали ее двумя способами: «плохо» и «хорошо». Причем с точки зрения формулировок вопросов, комментариев к вопросам и вариантов ответов обе анкеты были абсолютно идентичны. Различались они только визуальным представлением.

Сами анкеты можно посмотреть здесь:

«Плохая» анкета

«Хорошая» анкета

Справедливости ради нужно сказать, что даже «плохая» анкету у нас получилась бодрым рыночным  середнячком, далеко не дотягивающим до «лучших достижений» в области программирования плохих анкет.

Всего было опрошено 500 человек в возрасте 20-40 лет по всей России. Выборки были сбалансированы по полу, возрасту, географии и опыту участия респондентов в панели InternetOpros.ru. Базовые показатели обоих опросов были близки:


 

«Плохая» анкета

«Хорошая» анкета


Отклик (response rate)

41%

45%


Достижимость (прошли отбор)

75%

79%


Законченных анкет (от тех, кто прошел отбор)

95%

96%


Медианная длительность

17.7 минуты

17.5 минуты


Ниже мы приводим основные различия в программировании и сопутствующие им различия в результатах.

Оценка анкеты панелистами

На общих оценках (мы просили респондентов оценить уровень их удовлетворенности анкетой) различия в программировании сказались следующим образом:

% ответов «отлично» + «хорошо»

«Плохая» анкета

«Хорошая» анкета


Дизайн

89%

89%


Легкость заполнения

95%

99%


Понятность

97%

98%


Интересность

89%

95%


Длина анкеты

91%

93%


Источник: данные Tiburon Research (панель InternetOpros.ru), 500 интервью, март 2010 года.

Видно, что различия не драматические, но они есть. Причем, значимые отличия наблюдаются по таким ключевым для качества данных параметрам как легкость заполнения и интересность (= вовлеченность).

Список марок (влияние логотипа)

Задавались вопросы: знание площадок понаслышке, посещение более одного раза, регулярное посещение.

Отличия между анкетами:

·        >В «хорошей» анкете показывались логотипы новостных площадок в виде таблицы

·        >В «плохой» анкете показывался список из адресов соответствующих площадок


«Хорошая» анкета
«Плохая» анкета



Влияние на данные:

Знают

Были более 1 раза

Бывают регулярно

Плохая

Хорошая

Плохая

Хорошая

Плохая

Хорошая


news.mail

74

86

57

68

43

51


news.yandex

72

88

62

73

48

54


Vesti

77

75

37

36

17

13


Gazeta

75

63

37

21

13

8


Lenta

77

61

53

41

25

24


Kommersant

60

70

18

19

6

5


news.rambler

62

61

38

40

20

24


Izvestia

51

68

12

14

3

2


Kp

43

71

26

31

10

12


Rbc

49

53

30

26

19

15


Mk

39

62

12

24

3

4


Vedomosti

35

50

13

10

2

2


echo.msk

29

54

7

12

1

3


Rian

21

61

11

26

4

11


Источник: данные Tiburon Research (панель InternetOpros.ru), 500 интервью, март 2010 года.

Знание площадок по логотипу ожидаемо выше, чем знание только по адресу площадки. В тоже время, чем больше опыт респондента с площадкой (посещение, регулярное посещение), тем меньше наблюдаемые различия между анкетой с логотипами и без. Это логично, т.к. «свою» площадку респонденты узнают в любом виде – с логотипом или без. Менее же знакомые площадки узнаются респондентами по адресу значительно хуже, чем по логотипу. Причем разрыв тем больше, чем площадка менее популярна.

Также показателен большой разрыв в знании между двумя анкетами для таких популярных новостных площадок как «news.mail» и «news.yandex». Они безошибочно распознаются по логотипу, но в списке адресов теряются – респондентам просто не хватает внимания отыскать знакомые названия в длинном монотонном списке.    

Имидж марок

Респондентам предлагалось выбрать, каким из новостных площадок подходит то или иное имиджевое высказывание. Традиционно такой вопрос задается в виде таблицы (высказывания в строках, шкала - в столбцах), что, на наш взгляд, является не вполне удачным решением для онлайн-анкеты.

Отличия между анкетами:

·        >В «плохой» анкете вопрос задавался в виде таблицы на одном экране: высказывания - по строкам, площадки – по столбцам.

·        >В «хорошей» анкете высказывания предъявлялись одно за другим (одно высказывание на экране в момент времени), а новостные площадки представлялись логотипами.

«Хорошая» анкета
«Плохая» анкета


Влияние на данные:

Результаты анализа соответствий для «хорошей» и «плохой» анкет на примере нескольких площадок представлены в таблицах ниже. Статистически значимые связи «марка - высказывание» указаны цветом.

«Плохая» анкета:

Стандартизованные остатки

kp.ru

lenta.ru

news.mail.ru

news.yandex.ru

rbc.ru

vesti.ru


Много раздражающей рекламы

0.6

1.6

0.9

-2.3

-1.2

-0.5


Постоянно развивается / улучшается

-1.1

0.3

-1.1

0.5

1.3

0.0


Удобно пользоваться

-0.6

0.3

-0.8

0.2

0.5

0.1


Много интересных новостей

-0.6

0.8

-1.2

0.1

1.4

0.1


Объективная информация / можно доверять

-0.6

-0.7

-2.3

1.2

1.6

2.1


Есть информация о всех сферах жизни

0.6

0.3

-1.4

1.2

0.0

-0.2


Много хороших фото-видео материалов

1.1

0.1

-1.1

0.1

0.7

-0.2


Желтая пресса, негатив, чернуха

2.5

0.5

1.2

-1.5

-1.9

0.2


На сайте есть цензура

1.7

0.4

-0.7

-0.2

0.0

1.5


Можность обсудить новости / пообщаться

-0.9

-1.4

3.5

-0.1

-1.7

-1.8


Возможность найти друзей / единомышленников

-1.0

-1.4

3.9

-0.4

-1.6

-1.3


Низкаю культура общения на сайте

-0.3

-0.7

2.6

-1.3

-2.0

-0.6



«Хорошая» анкета:

Стандартизованные остатки

kp.ru

lenta.ru

news.mail.ru

news.yandex.ru

rbc.ru

vesti.ru


Много раздражающей рекламы

0.6

-1.0

2.4

-0.8

-0.3

-1.5


Постоянно развивается / улучшается

-1.6

0.3

-0.8

-0.1

1.3

0.9


Удобно пользоваться

-1.2

1.2

-0.2

0.5

-0.2

0.1


Много интересных новостей

-0.4

0.8

-1.3

0.7

0.6

-0.2


Объективная информация / можно доверять

-0.3

1.5

-2.7

-1.0

3.9

1.0


Есть информация о всех сферах жизни

0.5

0.1

-1.5

0.5

0.8

-0.6


Много хороших фото-видео материалов

-0.5

1.7

-1.4

0.8

-1.1

2.2


Желтая пресса, негатив, чернуха

4.1

-0.5

0.4

-1.6

-1.6

-1.1


На сайте есть цензура

0.6

-1.1

-0.7

-0.3

1.4

2.4


Можность обсудить новости / пообщаться

-0.2

-1.1

2.1

0.8

-2.3

-1.6


Возможность найти друзей / единомышленников

0.0

-1.8

3.1

-0.1

-1.9

-1.7


Низкаю культура общения на сайте

0.8

-1.6

2.7

-0.9

-1.9

-1.0



Источник: данные Tiburon Research (панель InternetOpros.ru), 500 интервью, март 2010 года.

Видно, что при общей схожести профилей «хорошая» анкета выявляет больше статистически значимых связей между площадками и имиджевыми высказываниями (10 против 6), т.е. «хорошая» анкета дает более выраженный имидж марок. С нашей точки зрения это является следствием двух вещей:

·        >Высказывания предъявляются по одному – легче сосредоточится

·        >Площадки представлены логотипами – более сильный стимул, больше эмоций, больше имиджевого окраса

Отношение к категории (согласие с высказываниями)

Респонденту предлагалось выразить свое согласие или не согласие с высказываниями из списка, использую стандартную шкалу согласия.

Отличия между анкетами:

·        >В «хорошей» таблица была разбита на две равные части – часть высказываний показывались на одной странице, часть – на другой. Респондент видит меньше высказываний на экране без необходимости прокрутки.

·        >В «плохой» анкете все высказывания выводились на одном экране одним длинным списком. До нижних высказываний нужно было страницу прокручивать.

«Хорошая» анкета
«Плохая» анкета


Влияние на данные:

В этом вопросе мы пытались поймать панелистов на невнимательности или небрежности. С этой целью были добавлены проверочные вопросы: две пары противоположных по смыслу высказываний и строка «В этой строке отметьте «Скорее НЕ согласен». Проценты ошибочных ответов приведены в следующей таблице:

% ошибок

«Плохая» анкета

«Хорошая» анкета


% ошибочных ответов в строке "В этой строке отметьте "Скорее НЕ согласен"

10.1%

5.2%


% согласия с обоими высказываниями: "Интернет должен контролироваться государством" / "Государство не должно контролировать Интернет"

7.1%

5.4%


% согласия с обоими высказываниями: "Я обращаю внимание на рекламу в Интернете" / "Я игнорирую рекламу в Интернете"

5.3%

3.6%



Источник: данные Tiburon Research (панель InternetOpros.ru), 500 интервью, март 2010 года.

Общая тенденция (в «хорошей» колонке все три показателя ниже) такова, что на «хорошую» анкету респонденты действительно отвечают более вдумчиво. Причем  цифры в «хорошей» колонке находятся на уровне средней отбраковки анкет в панели InternetOpros.ru (3-5% анкет), а цифры в «плохой» колонке существенно выше средних показателей для нашей панели.

Выводы

Главный вывод – то, как анкета запрограммирована, имеет значение и, с нашей точки зрения, ничуть не меньшее, чем качество панели. В конечном итоге от качественной анкеты выигрывают все: конечный клиент получает более адекватные данные, панельный провайдер – лояльность панелистов и меньшую роль денежной мотивации, сами панелисты – большую удовлетворенность от процесса участия в исследованиях.

Спорить о том, что такое хорошо и что такое плохо в программировании онлайн-анкет можно долго. Главное – чтобы Ваш поставщик имел на этот счет свою точку зрения, умел аргументировано ее отстаивать и имел достаточно гибкие инструменты для ее воплощения в Ваших анкетах.


Артем Тинчурин, Генеральный директор Tiburon Research
17.05.2010


Тренды в маркетинге

Как говорят финансисты, "поздно нести деньги в ПИФ, когда соседка тетя Шура подходит к вам с вопросом о том, в какой из них лучше пристроить свои сбережения". Фраза докризисная, но актуальная, если вместо ПИФов подставить: да все что угодно. Действовать надо "в противоход", но обоснованно. Когда есть понимание того, какие из незаметных пока подвижек могут стать мейнстримом, и, наоборот, что надо сохранить, несмотря на сбивающий с курса ветер. Об этом мы и будем говорить в рубрике "Тренды в маркетинге". Авторами материалов могут стать как сами участники рынка, маркетологи, буквально, кожей чувствующие изменения, так и журналисты, способные задать "правильные вопросы правильным людям".
Партнер проекта - портал r-trends
Мнение редакции может не совпадать с мнением автора
Публикации
2013
развернуть
2012
развернуть
2011
развернуть
2010
свернуть
01.12
04.10
09.08
03.08
26.07
19.07
22.06
15.06
24.05
17.05
04.05
29.03
22.03
15.03
09.03
24.02
15.02
08.02
01.02
25.01
18.01
2009
развернуть

© Состав.ру 1998-2016, фирменный стиль Depot WPF

тел/факс: +7 (495) 225 1331 адрес: 109004, Москва, Пестовский пер., д. 16, стр. 2

При использовании материалов портала ссылка на Sostav.ru обязательна!
Администрация Sostav.ru просит Вас сообщать о всех замеченных технических неполадках на E-mail
  Рассылка 'Sostav.ru - ежедневные новости маркетинга, рекламы и PR.'   Rambler's Top100         18+   Словарь маркетинговых терминов