Доля бюджета в диджитал-рекламе может тратиться впустую, оплачивая конверсии, которые и так произошли бы органическим путем. Без тестов инкрементальности можно переоценить или недооценить вклад каналов и принять неверные решения относительно медиасплита. 
Go Mobile поделились с Sostav методами тестов на примере разных источников для UA и RET.
Зачем измерять инкрементальность
Инкрементальность источника показывает, сколько трафика пришло дополнительно благодаря источнику.
Качество трафика может отличаться от бренда к бренду на одном и том же канале в зависимости от вертикали, объемов платного трафика, инвентаря, используемого в рекламном кабинете, и объемов трафика в конкретном источнике. Поэтому невозможно сделать однозначный вывод об инкрементальности того или иного источника. Есть примерное представление о том, насколько качественный каждый источник, но для понимания доли инкрементального трафика, или ITR (incremental traffic rate), нужно проводить тесты для каждого бренда и источника.
Чтобы получить репрезентативный результат тестов, советуем брать источники, в которых доля от всего трафика составляет не менее 8−10%.
Методы тестирования для UA
Существует четыре основных метода для тестирования инкрементальности в UA:
- полное отключение источника;
- «шахматная доска»;
- геотест;
- «черный баннер».
Полное отключение источника
Рекомендуем использовать как первичный тест для агрегированной оценки инкрементальности. Как это работает: отключаем источники по разным типам трафика. Например, сперва отключить все DSP-источники на пару недель и проследить изменения трафика в приложении. Здесь важно учитывать коэффициент влияния сезонности, возможные переходы трафика в другие каналы и другие внешние факторы. Как правило, при отключении одного источника, который занимает, например, 10−15% от всего трафика приложения, не будет заметна сильная корреляция отключения канала и органики.
После тестирования различных источников, если мы выявили низкую инкрементальность в каком-то из каналов, стоит точечно протестировать подозреваемые источники другими методами: «шахматная доска», геотест или методом «черного баннера».
«Шахматная доска»
В таком тесте в рекламной кампании настраивается показ рекламы только по четным/нечетным часам, а далее нужно сравнить объем трафика в органике в период показа рекламы и когда она была выключена.
Этот способ тестирования позволяет максимально точно оценить долю инкрементального трафика в источнике, так как у сравниваемых элементов максимально равные условия. Для источников, которые поддерживают такую настройку технически, обычно выбираем именно этот метод тестирования.
Но стоит учесть, что такое дробление трафика может негативно сказаться на работе обучаемых алгоритмов рекламной кампании. Помимо этого, объем источника на время теста сократится в два раза. Также этот способ не подойдет для новых источников, поскольку необходим достаточный объем данных и стабильный трафик.
Показываем наглядно на примере кейса
Чтобы измерить инкремент, объединили тест для двух DSP-источников: Bigo+Mintegral, поскольку доля одного из источников в сплите была незначительной.
Далее оценивали объем органики и все ее изменения, которые происходили во время периодического отключения и включения рекламных размещений.
Результат:
- трафика в органике без рекламы — 36 024, трафика в органике с рекламой — 36 864 (показатели указаны с учетом наложения коэффициента для сохранения NDA);
- ITR вышел 101,9%, так как в период отключения рекламы в источниках трафика стало немного больше. По сути, источник является полностью инкрементальным.
Геотест
Проверка инкрементальности с помощью сравнения гео по логике схож с тестом «шахматная доска», только аудитория разделяется не по часам, а по гео.
Сетап выглядит так: выбираются два города/области (или две группы городов, если недостаточно трафика), в тестовой группе показывается реклама, а в другой она выключена. Большой плюс такого способа проверки инкремента — минимальные просадки по бюджету, так как нужно исключить трафик только в одном гео.
Данный метод сложный в реализации из-за поиска идентичных городов по поведению аудитории и влиянию внешних факторов. Помимо этого, ограничение по гео, как правило, более критично влияет на обучение РК, чем деление по часам показов, поскольку кампаниям не хватает данных для обучения. Также некоторые каналы не умеют качественно таргетироваться на гео, даже если поддерживают это технически, что будет искажать результаты. Из-за этих факторов результаты теста инкрементальности через сравнение гео могут быть нерепрезентативными.
Рекомендуем использовать способ только при сравнении гео с достаточно объемным количеством трафика для релевантного сравнения и в случаях, когда важно провести тест инкрементальности без просадок по бюджету.
«Черный баннер»
В данном методе тестирования запускается пустой креатив (белый/черный), не используются текстовки и другие элементы для того, чтобы проверить какой трафик принесет фейковый баннер. Контрольной аудиторией, в данном случае, является та, которой показывался обычный баннер.
Способ неоднозначный, так как в этом случае часть бюджета приходится потратить на пустой креатив. Кроме того, редкие источники поддерживают такой функционал. Но метод хорошо подойдет для каналов с ограниченными возможностями настроек, где другие методы использовать невозможно.
Показываем наглядно на примере кейса
Тестировали на источнике Bidease. Запустили две рекламные кампании с одинаковыми настройками и бюджетом: обычную и с «черным баннером».
Задачей было оценить объем покупок, который пришел с «черного баннера» — если он значительно ниже, чем у обычного баннера, то источник считаем инкрементальным.
Как считали ITR: привели показатели к одинаковому количеству показов, чтобы сравнить количество покупок.
Результат:
- количество покупок с обычного баннера в 8,4 раза больше, чем у черного;
- CR обычного баннера более чем в два раза лучше, чем у «черного баннера»;
- ITR 92%.
Метод тестирования для RET
A/B-тесты в «Яндекс», mDSP, RevX, Hybe
Для ретаргентинговых кампаний оптимальным методом замера инкремента является A/B-тестирование. Создаем контрольную группу, которая не видит рекламы (исключаем ее также из всех запущенных источников), и тестовую, которая видит рекламу только в тестируемом источнике.
Этот метод требует тщательной сегментации аудитории для создания групп, которые нужно репрезентативно проанализировать. Что делали:
1. Убрали тех:
- у кого были когда-либо покупки;
- у кого регион установки был не РФ;
- кто был записан во фрод.
2. Считали для оставшихся пользователей указанные метрики с некоторыми дополнениями:
- для городов оставили 40 штук, которые в общей выборке совокупно занимали более 40%, остальные — записаны в «Прочие»;
- в качестве каналов оставляли канал первого привлечения, если атрибуций было несколько. Здесь аналогично каналы, которым было записано мало атрибуций, объединили в «Прочие»;
- в типах касания атрибуции был добавлен параметр «organic» для органических установок.
3. Разделили аудиторию на 6 групп (1 контрольная, 5 тестовых) по пропорциям:
- по каналам и типах касания атрибуции внутри них;
- по типам атрибуций;
- по городам;
- среднее и стандартные отклонения по количеству дней с первой установки;
- среднее и стандартные отклонения по количеству дней с последней установки;
- среднее и стандартные отклонения по количеству дней с последней ре-атрибуции;
- среднее и стандартные отклонения по количеству дней с последнего ревовлечения.
4. После разделения по группам дополнительно провели оценку схожести групп по их распределению пользователей внутри с помощью АА теста.
5. После сборки сегментов исключили их из других источников.
Метрики анализа:
- покупки за нужный период, itet 14 дней;
- в тестовых группах покупки с органики и самого источника (не учитываем ретаргетинговых пользователей из этой аудитории, которые купили с других источников);
- в контрольной группе берем покупки только из органики из сформированного сегмента (не учитываем ретаргентинговых пользователей из этой аудитории, которые купили с других источников).
Как рассчитываем:
- Инкремент — насколько реклама увеличила продажи.
- Каннибализацию — сколько покупок реклама забрала у органики.
Выводы, которые мы получили по нашим данным:
- Revx и mDSP — источники с самым сильным инкрементальным лифтом для ретаргетинга;
- «Яндекс» и Hybe — устойчивый инкремент без каннибализации;
- Taurus — возможно неинкрементальный источник или неподходящая аудитория, нужен повторный тест.
Ключевой вывод
Стратегия медиаразмещения должна строиться на данных репрезентативных тестов инкрементальности как для каждого отдельного канала, так и для каждого бренда и аудитории. Под каждые условия рекламной кампании можно подобрать наиболее практичный способ. Рассказали о возможных тестах для UA: методах полного отключения, «шахматной доски», «черного баннера» и геотестах, и RET — A/B-тесты с тщательной сегментацией. Это позволит увидеть реальную картину эффективности канала и не даст потратить бюджет на аудиторию, которая и так бы совершила целевое действие.