Не панелью единой или онлайн-анкета хорошая и плохая

Артем Тинчурин, Генеральный директор Tiburon Research

Все знают, что онлайн-исследования – это в первую очередь онлайн-панель (online access panel). Качество панели действительно критично для качества собираемых данных, но только ли оно? Любой опрос – это люди и то, как мы этих людей опрашиваем. Если за «качество» людей отвечает организатор панели, то за качество процесса опроса – тот, кто пишет анкету и, в случае онлайн-опроса, тот, кто ее программирует.

От чего зависит качество онлайн-анкеты и зависит ли вообще? Для того, чтобы ответить на этот вопрос мы провели параллельный тест и сравнили данные полученные при помощи «хорошей» и «плохой» анкет.

Предыстория

Все началось с заботы о собственной панели. Отслеживая базовые показатели удовлетворенности участников панели InternetOpros.ru, мы пришли к выводу, что не все анкеты одинаково полезны:


Источник: данные Tiburon Research (панель InternetOpros.ru), 468 проектов.

Невооруженным глазом видно, что российские анкеты панелистам нравятся больше. У иностранных анкет много проблем и это не только язык и релевантность тем опросов, но и, как ни странно, сравнительно низкое качество программирования (форматирование, переходы, логика работы вопросов и т.д.).

Т.к. качество программирования анкет вещь субъективная, мы решили проверить, есть ли под нашими субъективными оценками реальная база и провели натурный эксперимент.

Дизайн эксперимента

Для исследования мы выбрали нейтральную и популярную тему – новостные сайты, написали анкету на заданную тему и запрограммировали ее двумя способами: «плохо» и «хорошо». Причем с точки зрения формулировок вопросов, комментариев к вопросам и вариантов ответов обе анкеты были абсолютно идентичны. Различались они только визуальным представлением.

Сами анкеты можно посмотреть здесь:

«Плохая» анкета

«Хорошая» анкета

Справедливости ради нужно сказать, что даже «плохая» анкету у нас получилась бодрым рыночным  середнячком, далеко не дотягивающим до «лучших достижений» в области программирования плохих анкет.

Всего было опрошено 500 человек в возрасте 20-40 лет по всей России. Выборки были сбалансированы по полу, возрасту, географии и опыту участия респондентов в панели InternetOpros.ru. Базовые показатели обоих опросов были близки:


Ниже мы приводим основные различия в программировании и сопутствующие им различия в результатах.

Оценка анкеты панелистами

На общих оценках (мы просили респондентов оценить уровень их удовлетворенности анкетой) различия в программировании сказались следующим образом:


Источник: данные Tiburon Research (панель InternetOpros.ru), 500 интервью, март 2010 года.

Видно, что различия не драматические, но они есть. Причем, значимые отличия наблюдаются по таким ключевым для качества данных параметрам как легкость заполнения и интересность (= вовлеченность).

Список марок (влияние логотипа)

Задавались вопросы: знание площадок понаслышке, посещение более одного раза, регулярное посещение.

Отличия между анкетами:

·        >В «хорошей» анкете показывались логотипы новостных площадок в виде таблицы

·        >В «плохой» анкете показывался список из адресов соответствующих площадок





Влияние на данные:


Источник: данные Tiburon Research (панель InternetOpros.ru), 500 интервью, март 2010 года.

Знание площадок по логотипу ожидаемо выше, чем знание только по адресу площадки. В тоже время, чем больше опыт респондента с площадкой (посещение, регулярное посещение), тем меньше наблюдаемые различия между анкетой с логотипами и без. Это логично, т.к. «свою» площадку респонденты узнают в любом виде – с логотипом или без. Менее же знакомые площадки узнаются респондентами по адресу значительно хуже, чем по логотипу. Причем разрыв тем больше, чем площадка менее популярна.

Также показателен большой разрыв в знании между двумя анкетами для таких популярных новостных площадок как «news.mail» и «news.yandex». Они безошибочно распознаются по логотипу, но в списке адресов теряются – респондентам просто не хватает внимания отыскать знакомые названия в длинном монотонном списке.    

Имидж марок

Респондентам предлагалось выбрать, каким из новостных площадок подходит то или иное имиджевое высказывание. Традиционно такой вопрос задается в виде таблицы (высказывания в строках, шкала - в столбцах), что, на наш взгляд, является не вполне удачным решением для онлайн-анкеты.

Отличия между анкетами:

·        >В «плохой» анкете вопрос задавался в виде таблицы на одном экране: высказывания - по строкам, площадки – по столбцам.

·        >В «хорошей» анкете высказывания предъявлялись одно за другим (одно высказывание на экране в момент времени), а новостные площадки представлялись логотипами.



Влияние на данные:

Результаты анализа соответствий для «хорошей» и «плохой» анкет на примере нескольких площадок представлены в таблицах ниже. Статистически значимые связи «марка - высказывание» указаны цветом.

«Плохая» анкета:



Источник: данные Tiburon Research (панель InternetOpros.ru), 500 интервью, март 2010 года.

Видно, что при общей схожести профилей «хорошая» анкета выявляет больше статистически значимых связей между площадками и имиджевыми высказываниями (10 против 6), т.е. «хорошая» анкета дает более выраженный имидж марок. С нашей точки зрения это является следствием двух вещей:

·        >Высказывания предъявляются по одному – легче сосредоточится

·        >Площадки представлены логотипами – более сильный стимул, больше эмоций, больше имиджевого окраса

Отношение к категории (согласие с высказываниями)

Респонденту предлагалось выразить свое согласие или не согласие с высказываниями из списка, использую стандартную шкалу согласия.

Отличия между анкетами:

·        >В «хорошей» таблица была разбита на две равные части – часть высказываний показывались на одной странице, часть – на другой. Респондент видит меньше высказываний на экране без необходимости прокрутки.

·        >В «плохой» анкете все высказывания выводились на одном экране одним длинным списком. До нижних высказываний нужно было страницу прокручивать.



Влияние на данные:

В этом вопросе мы пытались поймать панелистов на невнимательности или небрежности. С этой целью были добавлены проверочные вопросы: две пары противоположных по смыслу высказываний и строка «В этой строке отметьте «Скорее НЕ согласен». Проценты ошибочных ответов приведены в следующей таблице:



Источник: данные Tiburon Research (панель InternetOpros.ru), 500 интервью, март 2010 года.

Общая тенденция (в «хорошей» колонке все три показателя ниже) такова, что на «хорошую» анкету респонденты действительно отвечают более вдумчиво. Причем  цифры в «хорошей» колонке находятся на уровне средней отбраковки анкет в панели InternetOpros.ru (3-5% анкет), а цифры в «плохой» колонке существенно выше средних показателей для нашей панели.

Выводы

Главный вывод – то, как анкета запрограммирована, имеет значение и, с нашей точки зрения, ничуть не меньшее, чем качество панели. В конечном итоге от качественной анкеты выигрывают все: конечный клиент получает более адекватные данные, панельный провайдер – лояльность панелистов и меньшую роль денежной мотивации, сами панелисты – большую удовлетворенность от процесса участия в исследованиях.

Спорить о том, что такое хорошо и что такое плохо в программировании онлайн-анкет можно долго. Главное – чтобы Ваш поставщик имел на этот счет свою точку зрения, умел аргументировано ее отстаивать и имел достаточно гибкие инструменты для ее воплощения в Ваших анкетах.


Артем Тинчурин, Генеральный директор Tiburon Research