CRM-команда показывает отчёт: за месяц рассылки принесли больше выручки, чем за предыдущий. Руководитель спрашивает: «А сколько из этих денег мы получили бы и без рассылок?»
Ответа в обычном отчёте по кампаниям может не быть. Он показывает, какие покупки система связала с сообщениями. Чтобы оценить, сколько покупок добавили коммуникации, нужен другой способ измерения.
Чтобы отнести заказ к рассылке, система использует правила атрибуции: какие взаимодействия учитывать, сколько времени после них ждать покупку, какой кампании присвоить заказ, если контактов было несколько.
Правила зависят от платформы и настроек. Например, Mindbox описывает модель last-non-direct-touch: заказ присваивается последнему непрямому взаимодействию внутри группы каналов. Сначала выясняем, что именно считает такой отчёт.
Допустим, к письмам отнесено 3 млн рублей за месяц. Заказы на эту сумму соответствовали правилам атрибуции. Сколько из них не состоялось бы без писем, из этой цифры неизвестно.
На показатель влияют размер аудитории, частота отправок, состав получателей и настройки атрибуции. Если в рассылку включили больше активных покупателей, связанная с ней выручка может вырасти даже при прежнем дополнительном эффекте на клиента.
Какое решение получаем: прежде чем ставить цель по выручке рассылок, фиксируем определение показателя. При сравнении периодов проверяем изменения правил, аудитории и объема коммуникаций.
Клиент заканчивает упаковку привычного товара и собирается заказать новую. В этот момент получает письмо магазина, переходит по ссылке и оформляет заказ. Система относит покупку к рассылке.
Возможно, письмо действительно помогло: напомнило о магазине, упростило переход или подтолкнуло купить раньше. Возможно, клиент и так сделал бы заказ в тот же день. В истории одного человека мы видим только состоявшийся вариант. Что произошло бы без письма, неизвестно.
Бывает и наоборот: человек прочитал предложение, позже открыл приложение самостоятельно и купил. Система может не связать заказ с письмом, хотя оно повлияло на решение.
Поэтому атрибуция может учитывать покупки, которые состоялись бы и без коммуникации, и пропускать покупки, на которые коммуникация повлияла. Универсального коэффициента, которым можно исправить отчет, здесь нет.
Какое решение получаем: выбираем аудитории и сценарии по дополнительному результату и экономике. Высокая атрибуцированная выручка помогает найти кандидата для проверки, но сама по себе не обосновывает масштабирование.
Представим последовательность: клиент давно не покупал, получил реактивационное письмо, посмотрел ассортимент. Через два дня пришла массовая рассылка. Клиент перешел из нее и оформил заказ.
Если система учитывает последний подходящий контакт, выручку получит массовая рассылка. Реактивация могла участвовать в решении, но в ее отчете заказа не окажется.
Переход к другой модели атрибуции распределит заслуги иначе. Однако количество заказов от этого не изменится. Новый отчет поможет описать путь клиента, но сам по себе не ответит, какая коммуникация добавила покупку.
Какое решение получаем: эффект отдельного сценария проверяем, исключая его для случайно выделенной группы и сохраняя остальные условия. Для оценки всего набора маркетинговых коммуникаций нужен отдельный контроль. Эффекты отдельных сценариев нельзя автоматически складывать: они могут усиливать или замещать друг друга.
Сначала формулируем вопрос. Например: «Добавляет ли реактивационное письмо покупки среди клиентов, которые не заказывали последние шесть месяцев?»
До отправки случайно распределяем подходящих клиентов в две группы. Тестовая получает письмо, контрольная — нет. Остальные маркетинговые воздействия проводим по одинаковым правилам. Необходимые сервисные сообщения сохраняем в обеих группах.
Заранее выбираем срок наблюдения и показатель. Считаем все покупки участников за этот срок, доступные в согласованном контуре данных, независимо от клика по письму. Если офлайн-заказы не связаны с профилем клиента, вывод будет ограничен теми покупками, которые мы видим.
Допустим, результаты за выбранный период такие:
Разница в доле покупателей — 1 процентный пункт. Это оценка 100 дополнительных покупателей на 10 тысяч участников теста. Разница в выручке на участника — 30 рублей, или 300 тысяч рублей на тестовую группу.
Это точечные оценки. Перед решением о масштабировании проверяем статистическую неопределенность: наблюдаемая разница может включать случайные колебания. Числа в таблице сами по себе не подтверждают надежность вывода по выручке: для этого нужны данные о ее распределении по участникам.
Считаем всех исходно распределенных участников, включая неоткрывших и некупивших. Выборку планируем заранее: широкий интервал оценки после теста может означать, что данных не хватило.
Какое решение получаем: оцениваем, сколько покупок и выручки добавило конкретное воздействие относительно выбранного контроля. Вывод относится к этой аудитории, условиям и сроку наблюдения.
Вернемся к разнице в 300 тысяч рублей. Если она появилась благодаря скидке на заказы людей, которые и так собирались купить, финансовый результат может оказаться хуже, чем без предложения.
Для каждого участника считаем выручку после скидок за вычетом себестоимости и выбранных переменных расходов. Затем сравниваем среднее значение в тестовой и контрольной группах. Если скидка уже учтена в выручке, второй раз её не вычитаем.
Допустим, маржинальный доход до расходов на коммуникацию составил 92 рубля на участника в тесте и 90 рублей в контроле. Разница — 2 рубля, или 20 тысяч на 10 тысяч участников. Если коммуникация для этой группы стоила 25 тысяч рублей, оценка результата после этих расходов — минус 5 тысяч. Ее неопределенность также нужно проверить.
Для действующего сценария учитываем расходы, меняющиеся с его запуском. При решении о разработке добавляем стоимость внедрения и поддержки.
Также проверяем, не сдвинули ли мы покупку на более ранний срок. Рост в первую неделю может сопровождаться снижением покупок позже. Если цель — устойчивый результат, срок наблюдения должен учитывать обычный цикл покупок.
Какое решение получаем: масштабируем сценарий, когда дополнительный финансовый результат оправдывает расходы с учётом неопределённости оценки. При слабой экономике меняем предложение, аудиторию или стоимость контакта.
Если ваша CRM-команда показывает выручку, а связать ее с ростом бизнеса пока не получается, я помогаю разобрать измерение: что считается сейчас, какие выводы из этого допустимы и какой эксперимент даст ответ для следующего решения. Больше разборов — в Telegram-канале @growcrmmarketing.