После тендера один участник комиссии помнит сильного спикера, другой — знакомые логотипы, третий — самую низкую цену. Все говорят, что оценили профессионализм. Свести такие впечатления в среднее число можно, но качество решения от этого не станет понятнее.
Оценочная шкала работает, когда балл можно связать с конкретным ответом агентства. Предлагаем начать не с весов критериев, а с описания наблюдаемого поведения.
В учебном тендере компании нужно наладить привлечение и обработку обращений. Для критерия «диагностика» можно задать три уровня:
0 баллов. Названы каналы продвижения, но не объяснено, какую проблему проверяют.
1 балл. Есть гипотеза проблемы и нужные данные, но нет способа принять решение.
2 балла. Гипотеза связана с данными, способом проверки и двумя возможными решениями.
Разница между уровнями не в количестве терминов. Команда может получить два балла, предложив простой ручной разбор, если он отвечает на вопрос бизнеса. Обещание сложной системы без ясного назначения не должно автоматически повышать оценку.
Так же опишите ещё три-четыре критерия: распределение ответственности, проверку результата, работу с ограничениями, пригодность состава команды. Не смешивайте обязательное условие с предпочтением. Если нужен допуск к определённым данным, его отсутствие нельзя компенсировать красивой стратегией.
В листе оценщика нужны четыре колонки: критерий, балл, фрагмент ответа, оставшийся вопрос. Например: «Приёмка — 1; назвали отчёт по обращениям, но не объяснили порядок сверки с CRM; уточнить, кто разбирает расхождения».
Поле доказательства дисциплинирует обе стороны. Комиссия меньше полагается на память, а агентство получает предметное уточнение вместо «вы не показали достаточной экспертизы». Презентацию и запись встречи храните так, чтобы проверить цитату, если это согласовано участниками.
Первые оценки участники выставляют самостоятельно до общего обсуждения. Так меньше риск, что мнение руководителя станет отправной точкой для всех. Затем обсуждают самые большие расхождения: не кто неправ, а какие разные свидетельства увидели люди.
Допустим, три оценщика дали агентству по диагностике 0, 2 и 2. Среднее 1,33 скрывает расхождение, причину которого ещё нужно выяснить. Сопоставьте записи оценщиков с ответом агентства: люди могли по-разному понять критерий или заметить разные детали. Если пришлось уточнить критерий, одинаково примените новую формулировку ко всем участникам. Только после этого фиксируйте окончательные оценки.
Если критериев четыре, максимальный результат при шкале 0–2 равен восьми. Разница между шестью и семью баллами не доказывает преимущество с математической точностью. Это компактная запись суждений комиссии, а не измерение качества прибора. Рядом с итогом должны остаться аргументы и риск, который заказчик принимает.
Цену сравнивайте для одинакового состава работ. В одном предложении может быть аналитик, в другом — только настройка рекламы; балл «дешевле» без этой поправки искажает выбор. На сайте агентства Эйч описаны форматы сотрудничества с маркетинговым агентством. Их можно использовать как ориентир для выбора объёма ответственности, а затем сравнивать поставщиков внутри подходящего формата.
До настоящего тендера дайте комиссии один обезличенный ответ. Если люди трактуют критерий по-разному, перепишите его. «Проактивность» можно заменить на наблюдаемое: «команда назвала риск, который не был указан во вводных, и объяснила его связь с целью».
Не добавляйте критерий после встречи только потому, что он хорошо описывает понравившегося участника. Если обнаружилось действительно важное упущение, задайте одинаковый дополнительный вопрос всем оставшимся кандидатам.
К итоговому протоколу приложите листы оценок с доказательствами каждого балла. В резюме зафиксируйте основание выбора, главное ограничение и условие первого этапа. После этого этапа команда сможет проверить, оправдалась ли причина выбора, по тем же аргументам, на которые опиралась комиссия.