Как смена посадочной страницы увеличила конверсию в 3 раза

Даже небольшие изменения в пользовательском пути могут заметно влиять на конверсию и стоимость привлечения клиента. Особенно это важно в высококонкурентных нишах, где цена лида напрямую зависит не только от грамотно настроенной рекламы, но и от того, насколько быстро пользователь доходит до целевого действия. 

В кейсе — подробный путь GdeRabota.ru от гипотезы до результата: как команда сервиса протестировала две посадочные страницы для работодателей, столкнулась с проблемами в обучении рекламных алгоритмов, перезапустила эксперимент и в итоге увеличила конверсию в размещение вакансии в 2,8 раза.

Зачем мы решили запустить A/B-тест 

На момент запуска эксперимента основной трафик из рекламы уже долгое время велся на одну и ту же страницу. Однако у нас появилась гипотеза, что текущий сценарий взаимодействия с сервисом слишком длинный и часть пользователей теряется еще до публикации вакансии.

Чтобы проверить это предположение, решили провести A/B-тест и сравнить конверсионность (CR) двух посадочных страниц для аудитории HR-менеджеров и владельцев бизнеса:

1. Контрольной — страницы, которая уже использовалась в рекламных кампаниях
2. Экспериментальной — версии с более простым и коротким путем пользователя до целевого действия

Главная цель эксперимента — определить, сможет ли упрощение пользовательского сценария увеличить конверсию в размещение вакансии и снизить стоимость привлечения работодателя с рекламы.

Условия эксперимента

В рамках эксперимента использовались две посадочные страницы с возможностью размещения вакансий, на которые был направлен рекламный трафик работодателей. Назовем их условно: https://posadka1 и https://posadka2 

https://posadka1 — контрольная версия. Это действующая посадочная страница, которая использовалась в рекламных кампаниях и в течение года не подвергалась изменениям.

https://posadka2 — тестовая (экспериментальная) версия, альтернатива контрольной странице.

Идея проведения теста возникла после анализа текущего пользовательского пути: на второй версии страницы процесс размещения вакансии выглядел более простым и коротким. Это наблюдение стало основанием для гипотезы, что снижение количества шагов до целевого действия может привести к росту конверсии.

A/B-тест был запущен, чтобы подтвердить или опровергнуть влияние упрощенного сценария на поведение пользователей.

Аудитория была разделена на две равные и непересекающиеся группы (примерно по 5000 пользователей в каждой):

Таким образом, каждая группа взаимодействовала только с одной версией посадочной страницы, что позволило корректно сравнить конверсионность в одинаковых условиях и исключить влияние пересечения аудиторий.

1. группа A направлялась на контрольную страницу https://posadka1
2. группа B — на тестовую страницу https://posadka2
   
   

Группу А ведем на страницу https://posadka1, группу Б на https://posadka2.

И сравниваем конверсионность каждой страницы. Конверсионность это соотношение конверсий к количеству пользователей, умноженное на 100.

CR = Количество целевых действий ÷ Количество пользователей × 100% 

Для привлечения трафика и проведения эксперимента мы выбрали Яндекс.Директ, в котором есть специальный инструмент, для проведения тестов. Как правило, на тест выделяется минимум 14 дней. 

Первые проблемы и перезапуск эксперимента

В течение первой недели тестирования нам не удалось получить достаточное количество конверсий для обучения алгоритмов рекламной кампании и продолжения теста. Как правило, для того чтобы алгоритмы Яндекс.Директа поняли какую аудиторию нужно искать, требуется в среднем 10 конверсий в неделю. У нас не набралось даже такое количество.

Ошибка была в поставленной в настройках кампании средней стоимости целевого действия (CPA). Из-за высокой конкуренции в нашей нише Яндекс выбирает для показов тех рекламодателей которые готовы предложить более высокую плату за трафик (при условии, что качество самого рекламного объявления не уступает конкурентам).

Пришлось заново запустить тестирование, с более высокими ставками, что затянуло сроки эксперимента на одну неделю.

Результаты тестирования

При одинаковой выборке около 5000 пользователей результаты оказались следующими: 

Конверсия экспериментальной страницы оказалась выше в 3 раза. 

После чего было принято решение использовать экспериментальную посадочную страницу в качестве основной для привлечения работодательского трафика (в первую очередь, вести именно рекламный трафик на эту страницу, так как, при прочих равных условиях, если процент конверсии выше, то и лиды дешевле). 

Проверка статистической значимости

Чтобы убедиться, что результат не является случайностью, мы дополнительно проверили данные через калькулятор статистической значимости.

Сначала мы должны решить для себя какое пороговое значение статистической значимости (уровень значимости) будем считать приемлемым, для того чтобы сказать — «итоги теста не случайны». В маркетинге это как правило (0,05 или 5%).

Простыми словами — всего лишь 5% вероятность того, что разница между нашими двумя вариантами теста — это случайность.

В нашем случае эксперимент оказался статистически значим.

Выводы

A/B-тест показал, что даже без изменения рекламного источника и увеличения объема трафика конверсию можно значительно повысить за счет изменений внутри самого пользовательского сценария.

Главный вывод эксперимента — длина и сложность пути до целевого действия напрямую влияют на количество конверсий. Более простая посадочная страница с сокращенным количеством шагов позволила увеличить конверсию в размещение вакансии с 1% до 3%.