Клиент судит о канале по одной статье: протокол теста, который снимает этот спор

В перформансе этот спор давно решён протоколом теста. В PR протокола нет — хотя переносится он почти без потерь.

Почему спор в принципе возникает

Решение принимается по одному наблюдению. Одна статья, иногда две на разных площадках, с разными темами и разными заголовками. По этим данным выносится приговор целому каналу.

Дальше подрядчик оказывается в заведомо проигрышной позиции: у клиента есть число, а у подрядчика — рассуждение про накопительный эффект. Спор об ощущениях выигрывает тот, у кого деньги.

Единственный выход — договориться о правилах до первого выхода. Не о гарантиях результата, а о том, что считается результатом и на каком объёме данных вывод вообще возможен.

Протокол из пяти пунктов

1. Минимальная серия, а не первый материал. Разницу в несколько процентов на объёмах деловых площадок доказать нельзя — видны только крупные эффекты, двукратные и больше. Значит, минимальная единица оценки — серия из пяти-семи материалов в одном формате, а не первый выход. Это записывается в план на входе, а не объясняется постфактум.

2. Одна переменная за раз. Классическая ошибка: одновременно меняются площадка, тема, жанр, заголовок и обложка, а вывод делается про площадку. Дисциплина простая — следующий материал отличается от предыдущего одним элементом. Скучно, зато к концу серии есть знание, а не мнение.

3. Раздельный учёт ленты и поиска. Материал живёт в ленте сутки, а потом переходит на поисковый трафик, который набирается месяцами. Складывать эти два потока в один показатель — то же самое, что смешивать mobile и desktop в одном отчёте: средняя цифра красивая и бессмысленная. Замер на второй день говорит только про ленту, и это надо проговаривать вслух.

4. Метрика следующего шага, а не показов. Самый читаемый материал и самый полезный для бизнеса — обычно разные материалы. Провокация в заголовке соберёт показы и комментарии, разбор по существу приведёт тех, кто напишет через месяц. Поэтому в отчёт вместе с охватом ставится то, что клиент считает результатом: сколько человек пришло в расчёт, в диагностику, в личные сообщения, сколько раз материал назвали на созвонах.

5. Журнал. Дата, площадка, заголовок, показы, открытия, следующий шаг, одна строка на материал. Через десять строк там видны закономерности, которых не найти ни в одной отдельной публикации. Журнал и есть то, что превращает спор об ощущениях в разговор о цифрах.

Что показывает такой журнал на практике

Приведу свой, чтобы не рассуждать абстрактно. Двадцать шесть материалов в личном блоге, показы от 364 до 1 079, медиана 619. Доля открытий от показов гуляет от 7,4% до 65,5%.

Из девятикратного разрыва хочется сделать громкий вывод, но верхняя граница — материал, который живёт на поиске: его открывают люди с запросом, а не листающие ленту. Если оставить только двадцать статей в узком коридоре 440–700 показов, разброс сжимается до 7,4–37,5%.

Пятикратная разница при сопоставимой аудитории и одинаковом объёме показов — это уже чистый эффект заголовка и первого абзаца. Первое число эффектнее, второе — единственное, на которое можно опираться в разговоре с клиентом.

Что это даёт подрядчику

Три вещи, и все три про деньги.

Первое: горизонт оценки перестаёт быть предметом торга. Если протокол согласован до старта, разговор через месяц идёт не о том, сработало ли, а о том, на каком мы шаге серии.

Второе: у работы появляется накопительный результат, который видно. Журнал за квартал — это актив, который остаётся у клиента и который трудно обнулить фразой «нам показалось, что не работает».

Третье: пресейл становится проще. На возражение «мы пробовали публикации, не сработало» появляется конкретный вопрос вместо спора: сколько материалов, за какой срок, на одной площадке или на разных, что менялось между ними. В девяти случаях из десяти выясняется, что теста не было — была одна статья.

Вывод

Публикации не отличаются от других каналов ничем, кроме масштаба данных: групп нет, трафика мало, эксперимент растянут на месяцы. Принципы, которые делают тест честным, при этом не меняются.