A/B тестирование SMS-рассылок: как снизить стоимость ошибки в коммуникационном канале

Каждая SMS-рассылка — это решение о том, какой текст, когда и кому отправить. Неправильное решение стоит денег: рассылка ушла, деньги потрачены, результат ниже возможного. A/B тестирование — метод, который позволяет принимать такие решения на основе данных, а не интуиции. Применительно к SMS он работает иначе, чем в email или контекстной рекламе, — и эта разница определяет методологию.

Почему A/B тест в SMS — это не то же самое, что в email

В email можно тестировать тему письма и смотреть на open rate. В SMS нет темы — получатель видит первые слова сообщения. Открываемость SMS в целом значительно выше, чем у email, поэтому открываемость — не информативная метрика для теста. Целевая метрика в SMS — CTR (если есть ссылка), конверсия в целевое действие, или снижение отписок.

Ещё одно отличие: SMS короткий, изменений мало. В email можно менять заголовок, превью, изображение, текст, кнопку — и тестировать каждый. В SMS меняется текст, время, оффер или длина — и каждый параметр тестируется отдельно.

Четыре параметра, которые стоит тестировать

Текст и CTA. «Скидка 20% только сегодня: shop.ru» против «Иван, ваша скидка 20% ждёт до полуночи: shop.ru». Первый — безликий, второй — персонализированный. Персонализированный текст конвертирует оценочно в 2–3 раза лучше массового. Тест подтвердит или опровергнет эту гипотезу для вашей конкретной аудитории.

Время отправки. Пятница в 12:00 против пятницы в 18:00. Вторник против субботы. Время влияет на момент прочтения и близость к моменту решения о покупке. Оптимальное время индивидуально для каждой аудитории — его нельзя взять из общих рекомендаций, его можно только измерить.

Оффер. «Скидка 15%» против «Бесплатная доставка». Разные аудитории и разные категории товаров реагируют на разные триггеры. Тест позволяет найти работающий оффер до масштабной рассылки.

Длина сообщения. Один сегмент (до 70 символов кириллицы) против двух. Короткий SMS стоит дешевле и открывается быстрее. Длинный — содержит больше информации. Что даёт лучший результат — зависит от аудитории и задачи.

Методология: как не ошибиться в выводах

Главное правило: один тест — один изменяемый параметр. Если одновременно менять и текст, и время, — невозможно определить, что именно повлияло на результат.

Разделение базы — случайное. Обе группы должны быть репрезентативными, иначе разница в результате может объясняться составом выборки, а не изменённым параметром.

Объём выборки: для статистически значимых выводов на каждый вариант нужно достаточное количество реакций — как правило, не менее нескольких сотен на группу. При маленьких базах A/B тест даёт случайные результаты, а не закономерности.

Схема: тест на 10–20% базы (по половине каждого варианта) → определение победителя → масштабирование победителя на оставшиеся 80–90%.

Инфраструктура для A/B тестирования SMS-рассылок с сегментацией и аналитикой результатов реализована, в частности, в i-Digital.