Как проверить точность маркетинг-микс модели и доверять её прогнозам

На тендерах, брифах и при знакомстве аналитики и маркетологи клиентов нам часто задают вопрос: «Как вы проверяете точность маркетинг-микс моделей?». На этот вопрос отвечает Олеся Норицына, Data Scientist в агентстве стратегического маркетинга Cube x D Innovate Group.

Как понять, что модели можно доверять

Маркетинг-микс модель должна не только корректно объяснять прошлые продажи, но и прогнозировать, что произойдёт при изменении бюджета и медиамикса. Это — основа для оптимизации маркетинговых инвестиций, повышения ROI и LTV.

Поэтому мы проверяем 2 уровня точности:

1. Точность модели: насколько корректно она разделяет влияние рекламы, рынка, цены, промо, дистрибуции и других факторов.
2. Точность прогноза: насколько хорошо модель предсказывает результат на новых данных и при изменении условий.

Сначала — техническая проверка модели

В CUBE мы используем байесовские MMM. Внутри них модель многократно оценивает возможные значения параметров и должна прийти к устойчивому результату.

Прежде чем анализировать прогнозы и бизнес-выводы, проверяем, что модель математически стабильна:

1. корректно ли прошло обучение модели;
2. сошлись ли результаты расчётов;
3. нет ли ошибок и нестабильных оценок.

Если модель не проходит техническую проверку, до оценки маркетинговых результатов она не доходит.

Далее — прогностические проверки

На этом этапе мы проверяем, предсказывает ли модель будущее. Для этого используем:

1. Метрики точности: R², MAPE, MAE, WAPE, CRPS и другие.
2. Диагностику ошибок: проверяем модель на гетероскедастичность и автокорреляцию остатков.
3. Оценку предсказания модели: проводим Posterior Predictive Checks — проверяем, насколько хорошо предсказания модели соответствуют исходным значениям.

Проверка на разных периодах

Модель не должна быть точной только на тех данных, на которых её построили. Поэтому тестируем её на периодах, которые она раньше «не видела».

1. Кросс-валидация: проверяем, сохраняется ли качество при разных обучающих периодах.
2. Отложенная выборка: убираем последние недели из обучения и смотрим, насколько точно модель их спрогнозирует.
3. Разный горизонт прогноза: проверяем, сохраняет ли модель точность не только на ближайших неделях, но и при более долгосрочном прогнозе.

Проверка на бизнес-логику

Даже модель с хорошими метриками может давать неверные бизнес-выводы. Поэтому последний этап — проверка выводов здравым маркетинговым смыслом.

1. Реалистичность результатов: соответствуют ли CPL, ROAS, вклад каналов и другие показатели реальным значениям в категории и на рынке.
2. Логика реакции на изменение бюджета: адекватно ли модель оценивает последствия увеличения или сокращения инвестиций в каждый канал.
3. Соответствие известным бизнес-фактам: не противоречит ли модель подтверждённым событиям, экспериментам и устойчивым закономерностям бизнеса клиента.

Только после прохождения технических, прогностических и бизнес-проверок маркетинг-микс модель можно использовать для оценки эффективности каналов, оптимизации медиамикса и планирования маркетинговых инвестиций.