Лидоловец читает открытые Telegram-чаты и достаёт из них сообщения, похожие на заявки: «кто делает натяжные потолки», «ищу бухгалтера на аутсорс», «нужен клининг после ремонта». Поиск по ключевым словам находит такие сообщения тысячами. Почти все они не заявки.
За всё время сервис нашёл 542 795 совпадений по ключевым словам. Настоящих заявок из них 14 774. То есть 97,3% совпадений это мусор: чужая реклама, пересказ чужого опыта, обсуждение цен, жалоба на подрядчика. Примерно 36 ненужных сообщений на одну заявку.
Поэтому между поиском по словам и клиентом стоит ИИ-фильтр. И тут возникает вопрос, на который в этой нише почти никто не отвечает цифрами: сколько настоящих заявок фильтр выбрасывает вместе с мусором?
Взяли 8 клиентских кабинетов с живой подпиской, 100 заявок, и разметили их не по мнению, а по поведению. Годная это та, на которую человек ответил или которую взяли в работу руками. Мусор это та, где клиент сам нажал «не то».
Мусора фильтр отсёк 95%, это 58 из 61. Годных потерял 18%, это 7 из 39. На одну потерянную заявку приходится 8,3 отсечённых мусорных.
Дальше мы прочитали те семь потерь глазами. Пять из них фильтр забраковал правильно, а щедрой была наша разметка: жалоба соседей на шум ремонта, просьба скинуть таблицу, пересказ чужого случая. Реальная потеря ближе к 5%.
В первую выборку попали наши собственные кабинеты, рабочие и админские. В них мы и сотрудники жмём «связаться» подряд, не выбирая, просто чтобы посмотреть, как работает интерфейс. Поэтому меткой «годная заявка» оказывались жалоба на шум ремонта и просьба скинуть таблицу юнит-экономики. Фильтр браковал их верно, а стенд записывал это в потери. Пока мы не выкинули свои кабинеты из выборки, цифра потерь была вдвое хуже правды.
Второй урок того же дня. Мы были уверены, что модель падает под нагрузкой: 118 пустых ответов из 225 вызовов. Бага не было. У кабинета с истёкшей подпиской код не зовёт модель вовсе и мгновенно отдаёт пустой ответ. Признак, по которому это видно сразу: отказ приходит за 0,0 секунды, а настоящий вызов модели занимает от 4 до 9 секунд.
Пока вы не знаете, кто попал в вашу выборку, вы меряете не модель, а свою разметку. Выкидывайте из замера собственные аккаунты и всё, где кликали как оператор, а не как клиент.
И считайте два типа ошибок по разной цене. Пропустить мусор значит отнять у клиента минуту на чтение. Потерять заявку значит отнять деньги. Фильтр, который отсекает 95% мусора ценой примерно 5% реального спроса, стоит держать при соотношении 8,3 к 1, но это соотношение должно висеть на дашборде, а не настраиваться один раз.
Сервис, о котором речь: Лидоловец, mpleads.ru.