Клиент просит A/B-тест на 300 визитах: что агентству отвечать вместо «да»

Честный A/B-тест требует 10 000 уникальных посетителей, по 5 000 на контроль и вариант. Клик по услугам в Директе стоит 50–150 ₽, то есть от 500 000 до 1 500 000 ₽ трафика на проверку одной гипотезы. Клиент приходит с 300 визитами в месяц и просит «протестировать новый первый экран». Агентство, которое отвечает «да», продаёт ему шум под видом данных.

Чем заканчивается «да»

Через 2 недели у клиента 3 заявки в контроле и 4 в варианте. Он видит победителя. Дальше у агентства 2 дороги, и обе плохие: подтвердить вывод, которого нет, или объяснять клиенту статистику после того, как он уже всё решил.

Арифметика не на стороне подрядчика. При конверсии 2% на 300 визитов приходится 6 заявок, по 3 на группу. Любая разница между версиями — это 1 человек. Чем меньше эффект, тем больше нужно людей: прирост в 20% виден на небольшом трафике, прирост в 3% — только на десятках тысяч визитов. На 300 визитах виден только сдвиг в разы.

Отсюда позиция, которую я озвучиваю на первом созвоне: тест мы сделаем, но не тот, о котором вы думаете. И не с кнопки.

Что продавать вместо теста кнопки

Всё, что можно менять на странице, я раскладываю на 5 уровней по силе сдвига. Концепция страницы и первый экран — сдвиг в разы. Порядок блоков и тип медиа — где цена, где отзывы, есть ли живое видео. Формат отзывов. Оффер: цена, пакеты, гарантия, порог бесплатного. И только на 5-м уровне — кнопки, заголовки блоков, формулировки.

Правило для клиента с малым трафиком: работаем на уровнях с 1 по 4. Уровень 5 продаётся тем, у кого 10 000 визитов в месяц, остальным он бесполезен, и честнее сказать об этом до договора, чем после.

Вместо статистики, которой нет, агентство продаёт качественную диагностику. 30 записей вебвизора на странице услуги показывают, где человек останавливается, на каком поле бросает форму и куда кликает, думая, что это кнопка. Карта скроллинга показывает, видел ли кто-то вообще блок с ценой. 5 коротких разговоров с людьми из ниши клиента по первому экрану дают ответ на вопрос «что вам здесь предлагают и за сколько». Это не замена теста, это уверенность в гипотезе до того, как клиент потратит на неё квартал трафика.

Бэклог как общий документ

Самый частый конфликт в проекте: маркетолог хочет одно, дизайнер другое, собственник третье. Я закрываю его одной таблицей: каждая идея оценивается от 1 до 10 по влиянию, уверенности и простоте, оценки перемножаются, тестируем в порядке убывания.

Редизайн первого экрана: 8, 7, 5, итого 280. Окно при уходе со страницы: 6, 8, 9, итого 432. Реферальная программа: 9, 6, 4, итого 216. Первым идёт окно, хотя редизайн выглядел амбициознее. Спор заканчивается за 20 минут, потому что оценки ставили все, включая собственника.

Для малого трафика добавляю фильтр: влияние ниже 7 в бэклог не попадает. Если гипотеза не обещает сдвиг в разы, на 300 визитах его не увидит никто, и квартал уйдёт впустую.

Как оформить тест, под которым не стыдно подписаться

Контроль и вариант живут одновременно на одном трафике. «На прошлой неделе поставили новую цену, заявок стало меньше» — это не тест, а динамика: другая реклама, другой день зарплаты, акция конкурента.

Сплит без дорогих платформ: 2 посадочные с разными адресами, трафик делит эксперимент в Директе или раздел «Эксперименты» в Метрике на Вариокубе, оба бесплатны. Распределение случайное, иначе вы сравниваете не версии, а устройства. Мобильные и десктоп читаются раздельно: вариант «выиграл в среднем», а на деле обвалил телефоны, где 70% аудитории клиента.

Срок фиксируется до запуска: 2 недели минимум, 2 полных недельных цикла, результат не открывается раньше. Ловушка ранней победы на малом трафике захлопывается быстрее, чем на большом. Свежий пример из моего журнала публикаций: 3 материала, вышедшие 3, 4 и 5 сентября, за первые сутки собрали 353, 341 и 335 просмотров, лидер очевиден. На 3-й день жизни — 444, 459 и 533. Лидер первого дня стал последним. На сайтах клиентов картина та же, просто цифры меньше.

Первые сутки — под микроскопом: распределение трафика, формы с обоих устройств, цели Метрики на обеих страницах. Поймать поломку на 1-й день дешевле, чем на 13-й.

Условие, которое защищает агентство

В договор на тест я вписываю одну строку: считаем деньги, а не конверсию. Вариант может выиграть по заявкам и проиграть по выручке: «бесплатный аудит» вместо «расчёта стоимости» даёт вдвое больше обращений, половина которых не собиралась платить.

Для агентства это страховка от самого частого повода расстаться: «конверсия выросла, а денег нет». На малом трафике условие ещё и выполнимо: 6 заявок в месяц клиент может прозвонить лично и сказать, кто из них стал договором.

Поэтому в своём агентстве я начинаю не с теста, а с диагностики: что на странице двигает результат в разы, что на этом трафике вообще можно увидеть, а что нет, и во что упирается следующий шаг воронки: rupragency.ru. Тест на 300 визитах, оформленный как исследование, приносит агентству кейс. Тот же тест, проданный как A/B, приносит спор о статистике.

Кидайте адрес страницы клиента и число визитов за месяц. Я собираю выборку первых экранов по нишам и скажу, какой из 5 уровней тестировать первым и что на этом трафике покажет результат.

А что вы отвечаете клиенту, который просит A/B-тест на 300 визитах: делаете, отговариваете или переупаковываете в диагностику?