Два процента или два пункта: как AI-тренажёру не потерять смысл чисел
«Конверсия выросла на два процента» звучит понятно, пока собеседник не спросит: с двух до четырёх или с двух до двух целых четырёх сотых? В международной команде такая неточность проходит сразу через несколько слоёв: исходный расчёт, формулировку на иностранном языке, понимание на слух и запись договорённости. Грамматически правильная реплика ещё не гарантирует, что участники обсуждают одно и то же.
Мы в KeelAI занимаемся языковой практикой. Ниже предлагаем протокол проверки разговоров о числах для команд, которые строят AI-тренажёры или готовят сотрудников к рабочим обсуждениям. Это проектный разбор, а не отчёт о проведённом эксперименте. Все суммы, проценты и ситуации в примерах придуманы для обучения; они не описывают клиентов, выручку или эффективность нашего продукта.
1. Ошибка может находиться не в английском
Возьмём учебный пример: доля регистраций изменилась с 2% до 4%. Разница составляет два процентных пункта, относительный рост — 100%. Это два корректных описания одного изменения. А фраза «рост на 2%» описывает другое отношение. Различие между процентами и процентными пунктами поясняет руководство британской статистической службы ONS. Для нашей задачи важен не термин сам по себе, а возможность восстановить исходные значения.
Теперь представим, что пользователь говорит: “The conversion rate increased from two to four percent.” AI предлагает более краткую версию и теряет начальную точку. Английский становится компактнее, но проверять смысл труднее. Если система оценивает только естественность речи, такое изменение может выглядеть как улучшение. Для рабочего разговора оно требует отдельной проверки: понял ли слушатель, что именно изменилось?
Разделяйте три задачи: посчитать, сформулировать, договориться. Человек может правильно вычислить результат и не суметь его произнести. Может уверенно произнести ошибочный расчёт. Может назвать правильные числа, но не объяснить, относятся они к неделе, месяцу или разным группам пользователей. Одна оценка «верно» смешает эти случаи и не подскажет, что тренировать дальше.
Для первого пилота полезно выбрать одну задачу, например устное сравнение двух значений. Тогда от ученика не требуется одновременно защищать стратегию, считать бюджет и понимать незнакомую отрасль. Сложность добавляется после того, как команда научилась различать причины ошибки, а не раньше.
2. Соберите паспорт числа до начала диалога
Условная сумма 150 сама по себе почти ничего не сообщает. Это евро за пользователя, общий бюджет, ежемесячный платёж или цена за год? Для учебной карточки предлагаем хранить рядом со значением единицу, период, объект и статус. Последнее поле отвечает на вопрос: это факт, прогноз, верхняя граница или предварительная оценка. Такая карточка не заменяет финансовую модель; она задаёт смысл, который разговор должен сохранить.
Например: 150 евро, за команду, в месяц, предварительная оценка, без подтверждения закупки. Реплика “It will cost one hundred and fifty euros” теряет период и превращает оценку в уверенное утверждение. Вариант “Our current estimate is one hundred and fifty euros per team per month” сохраняет больше исходных условий. Это не единственно допустимая фраза, а один вариант ответа для разбора.
На стороне собеседника полезнее проверять не совпадение слов с эталоном, а восстановленные поля. Если он записал «150 евро за каждого человека», ошибка должна быть заметна даже при прекрасном произношении. И наоборот: нестандартная, но понятная конструкция не должна автоматически проваливать упражнение, если все существенные условия дошли до адресата.
В паспорт стоит включать и отсутствующие сведения. Если валюта в задании не указана, ожидаемое действие — задать вопрос, а не угадать. Неопределённость является частью сценария, а не пробелом, который модель обязана незаметно заполнить. Иначе тренажёр вознаградит убедительное додумывание именно там, где рабочая коммуникация требует остановиться.
3. Учите восстанавливать число, а не повторять за AI
В первой версии упражнения участник получает паспорт и объясняет предложение своими словами. Собеседник возвращает короткое резюме: «Правильно понял: это цена за человека в месяц?» Если в карточке была цена за команду, ученик должен исправить единицу. Здесь важно, чтобы возражение было предусмотренным учебным событием, а не случайной галлюцинацией модели.
Следующий вариант меняет только одно поле: период, объект или статус. Сумма остаётся прежней. Так легче увидеть, следит ли человек за условиями или воспроизводит выученную строку. Если одновременно заменить валюту, число, контекст и роль собеседника, провал будет трудно объяснить: участник мог потеряться в новой ситуации, а не в изучаемой конструкции.
Подсказки тоже нужно разделить. Первая может предложить проверить единицу: «За что именно платят?» Вторая — дать начало фразы “per team…”. Полный образец лучше показывать отдельно от самостоятельного ответа. Повторение готовой формулировки не следует записывать как независимое исправление. Оно может быть полезной практикой, но отвечает на другой вопрос.
После разбора можно предложить новую карточку без текста предыдущего ответа. Например, вместо цены подписки — условный лимит участников за неделю. Это ещё не доказательство переноса навыка в реальную работу. Зато такое задание позволяет проверить более узкую гипотезу: удерживает ли человек структуру объяснения после изменения содержания.
4. Срок — это тоже число с условиями
Вторая группа сценариев касается времени. “I will send the file by Friday” обозначает срок отправки, а “I will work on it until Friday” — продолжение работы до указанного момента. Базовое различие by и until можно проверить в Cambridge English Grammar Today. Примеры здесь авторские: нам важно показать, почему замена одного слова меняет обязательство, а не просто стилистический оттенок.
Но правильного предлога недостаточно. «В пятницу к пяти» оставляет открытыми дату и часовой пояс. В карточке для международной команды лучше задавать их явно, если от них зависит решение. В устном ответе не всегда нужно перечислять всё заново: можно сослаться на согласованное приглашение или попросить подтвердить время. Важен общий результат, а не максимальная длина реплики.
Добавьте безопасный учебный конфликт: собеседник повторяет другой час. Участнику нужно заметить расхождение, исправить его и проверить итог. Не стоит сразу оценивать уверенность по скорости: пауза перед подтверждением может быть осмысленной проверкой. Отдельно фиксируйте, дошёл ли человек до согласованного срока и понадобилась ли для этого подсказка.
Не поручайте модели незаметно вычислять реальные дедлайны при отсутствии календарного контекста. Для прототипа достаточно заранее подготовленных карточек с однозначными данными. Если сценарий требует динамического перевода времени, это отдельная техническая функция со своими тестами. Языковой пилот не должен одновременно становиться непроверенным календарным сервисом.
5. Оценка должна показывать, где потерялся смысл
Предлагаем вести короткую таблицу наблюдений по попытке: исходная карточка, ответ пользователя, резюме собеседника, потерянное поле, подсказка, самостоятельное исправление. В ней не нужны реальные клиентские документы. Для первого запуска достаточно вымышленных предложений, которые рецензент может проверить без доступа к коммерческим условиям компании.
Результат удобно разбирать по трём осям. Точность: сохранились ли значение, единица и условие. Восстановление: удалось ли обнаружить и исправить намеренное непонимание. Самостоятельность: исправил ли человек ответ до полного образца. Это предлагаемая схема оценки, не действующий отраслевой стандарт и не опубликованная метрика эффективности KeelAI.
При подсчёте доли успешных попыток обязательно указывайте знаменатель и правила исключения. Отсутствующая запись не равна неправильному ответу. Попытка с технической ошибкой не должна автоматически улучшать показатель после исключения: такие случаи стоит показывать отдельной строкой. Ответ после подсказки также нельзя незаметно объединять с ответом без неё.
Для знакомства с нашим подходом к языковой практике можно открыть KeelAI. Описанный здесь протокол — предложение для проектирования и проверки сценариев; ссылка не означает, что в приложении уже реализованы все перечисленные карточки, поля и способы оценки.
Рецензенту полезно сначала самостоятельно прочитать карточку и ответ, а уже затем смотреть вывод модели. Иначе убедительное объяснение AI может повлиять на оценку. При разногласии сохраняйте причину: потерян период, изменён статус прогноза, перепутан объект оплаты. Общая пометка «модель ошиблась» слишком груба, чтобы по ней исправлять сценарий.
6. Начните с маленького проверяемого пилота
Для первой итерации предлагаем три семейства карточек: изменение доли, цена с периодом и согласование срока. Для каждого подготовьте исходную ситуацию, допустимые способы объяснения и одно контролируемое непонимание. Это размер предложенного прототипа, а не рекомендация о достаточной статистической выборке. Его задача — проверить саму процедуру наблюдения.
До запуска договоритесь, что будет считаться основанием для доработки. Например, система принимает цену за человека вместо цены за команду, исправляет корректную формулировку на неоднозначную или раскрывает полный ответ раньше попытки пользователя. Такие дефекты не стоит компенсировать красивым средним баллом по остальным карточкам: сначала нужно понять их механизм.
После внутреннего прогона оставьте только задания, в которых понятна причина каждого результата. Проведите ограниченную проверку с участниками, заранее объяснив учебный характер примеров и правила обращения с записями. Не просите приносить настоящие бюджеты или клиентские переписки ради реалистичности. Для проверки языкового действия важнее контролируемые условия, чем узнаваемое название клиента.
Главный итог такого пилота — не обещание «научили говорить о бизнесе», а воспроизводимый ответ на узкий вопрос: сохраняет ли человек смысл числового сообщения и может ли восстановить его после непонимания? Когда команда умеет это наблюдать, ей проще выбирать следующие упражнения, обсуждать качество AI и отличать улучшение речи от убедительно оформленной ошибки.