Новые A/B-тесты в Hybrid Platform. Больше метрик и сценариев для проверки гипотез

Стало проще выбирать основную метрику, появился сценарий сравнения Copilot-кампаний с обычными размещениями, а лимит внутри одного варианта вырос до 100 кампаний. Это помогает проверять гипотезы на большем объеме трафика и быстрее понимать, что стоит масштабировать.

Что именно изменилось

1. Обновлен список основных метрик

A/B-тесты — это способ экспериментального сравнения рекламных кампаний. Трафик распределяется между несколькими вариантами, а эффективность оценивается по заранее выбранной метрике: показам, кликам, CTR, CPC, охвату, VTR, конверсиям, отказам, стоимости целевого действия и другим показателям. A/B-тест помогает заранее зафиксировать гипотезу, условия сравнения и ключевой показатель, по которому будет приниматься решение.

При создании A/B-теста в блоке выбора основной метрики теперь отображаются ключевые показатели, которые чаще всего используются для оценки результата. Это упрощает настройку и снижает вероятность ошибки: пользователю не нужно искать нужную метрику среди лишних вариантов.

Доступные метрики сгруппированы по типам:

Если подключена Яндекс.Метрика, можно смотреть, как разные варианты кампаний влияют на поведение пользователей после перехода на сайт: например, сравнивать отказы, глубину просмотра или время на сайте.

2. Появилась поддержка Copilot-кампаний

В A/B-тестах можно сравнивать Copilot-кампании с обычными размещениями. Это помогает понять, где Copilot дает преимущество, а где ручная настройка остается сопоставимой по результату.

Можно сравнить:

1. одну Copilot-кампанию с одной или несколькими стандартными кампаниями с той же гипотезой или близкой аудиторией.

Такой тест помогает проверить разницу в работе Copilot и обычной кампании в разрезе медийных и конверсионных показателей. Это CTR, CPC, CPM, VTR, post-click и post-view конверсии, стоимость конверсии и другие метрики.

При этом у сценария есть ограничения:

1. в одном A/B-тесте можно использовать только одну Copilot-кампанию;
2. сравнение двух Copilot-кампаний между собой недоступно;
3. Copilot можно добавить только в один из вариантов теста;
4. в варианте с Copilot нельзя добавлять дополнительные кампании;
5. другой вариант может содержать одну или несколько обычных кампаний.

3. Увеличен лимит кампаний

Раньше в каждом варианте A/B-теста можно было использовать до 10 кампаний. Сейчас лимит увеличен до 100 в каждом варианте. Можно запускать более масштабные тесты без лишнего дробления. Это помогает сравнивать крупные группы кампаний, проверять стратегии на большем объеме трафика и быстрее переходить от эксперимента к решению.

Какие задачи можно решать с помощью A/B-тестов

В Hybrid Platform можно задавать период тестирования от 2 до 60 дней. Для получения более устойчивых результатов рекомендуется проводить тест не менее 7 дней. Долю трафика можно распределять вручную от 1% до 99%, но для большинства базовых сравнений логичнее начинать с равного распределения 50/50, так результаты проще читать.

Популярные задачи:

1. проверить креатив перед масштабированием;
2. сравнить аудитории;
3. оценить стратегию закупки;
4. посмотреть не только на клик, но и на поведение после него.

Обновленные A/B-тесты помогают превратить проверку гипотез в понятный и управляемый этап работы с кампаниями. Команда может заранее выбрать ключевую метрику, сравнить разные подходы (от стандартных размещений до Copilot) и масштабировать тот вариант, эффективность которого подтверждена данными.