Точность модели — не цифра для бюджета: что руководителю посчитать до запуска ИИ-агента на потоке заявок

На презентации подрядчика почти всегда звучит одна цифра — точность модели. «Девяносто девять процентов» кажется закрытым вопросом. Но руководителю, который отвечает за отгрузки, деньги и клиентов, эта цифра почти ничего не говорит: бизнес платит не за верное решение, а за заказ, который дошёл до конца без переделки.

Один заказ — это двадцать решений

Возьмите обычный заказ, пришедший письмом. Чтобы завести его в учётную систему, агент определяет клиента, договор, склад, адрес и дату, а затем по каждой позиции — товар, количество и единицу измерения. На пять позиций набирается около двадцати решений. Заказ чистый, только если верны все двадцать.

Вероятности здесь не складываются, а перемножаются. При 99 % на каждое решение без единой ошибки проходит примерно 82 % заказов — почти каждый пятый уходит дальше с дефектом. Заказ на двенадцать позиций — это уже порядка сорока решений, и при той же точности чистыми остаются около двух третей. Даже 99,9 % на решение при сорока решениях оставляют с ошибкой около 4 % заказов: на тысячу в месяц — порядка сорока.

Это иллюстративный расчёт, а не замер на проектах: в жизни ошибки бывают связаны между собой, а часть шагов сама ловит промахи предыдущих. Но порядок величин он передаёт верно. Похожий счёт приводит практик, построивший больше десятка агентных систем, в статье июля 2025 года: при надёжности шага 95 % цепочка из двадцати шагов доходит до успеха лишь в 36 % случаев.

Показ и поток — разные экзамены

Вторая статья расходов — повторяемость. На демонстрации задачу решают один раз. На потоке ту же задачу агент решает сотни раз в месяц, и в счёт идёт каждая осечка. Исследователи компании Sierra в бенчмарке τ-bench (июнь 2024 года) засчитывали задачу, только если агент справился во всех повторах подряд. Даже сильные агенты того времени решали меньше половины задач, а в сценарии розничного магазина при восьми повторах стабильно справлялись менее чем в четверти случаев. Это лабораторные сценарии, а не российский процесс, но разницу между «получилось» и «получается всегда» они показывают наглядно.

Вывод для бюджета простой: в экономику проекта закладывают не только работу агента, но и цену того, что он сделает неправильно.

Ошибки стоят по-разному

Неверно прочитанный телефон в подписи письма не стоит ничего. Не та единица измерения в проведённой отгрузке — это лишний рейс, возврат и разговор с недовольным клиентом. Поэтому первый управленческий вопрос звучит не «какая точность у модели», а «где в нашем процессе ошибка необратима и во что она обходится».

Из ответа вытекают четыре инструмента контроля, и у каждого своя цена:

1. Сверка кодом. Программа сравнивает результат с тем, что известно наверняка: позицию — со справочником, количество и сумму — с текстом письма, клиента — с карточкой контрагента. Обходится дёшево и срабатывает всегда.
2. Порог уверенности. Сомнительный скан или непривычный формат агент не угадывает, а отправляет в ручную очередь. Цена — время сотрудника на эту очередь.
3. Человек перед необратимым шагом. Проведение документа, движение денег, ответ клиенту. Агент готовит черновик с источником каждого поля, решение принимает сотрудник. Это самая дорогая проверка, поэтому её ставят только там, где промах обойдётся дороже её самой.
4. Выборочный контроль и журнал правок. Часть заказов, прошедших без вопросов, перепроверяют, а каждую правку записывают. Через месяц по этим данным решают, где контроль снять, а где усилить.

Архитектурно это укладывается в схему, которую описывает и Anthropic в руководстве по построению агентов (декабрь 2024 года): порядок шагов задаёт программа, модель работает внутри шагов, между ними стоят программные проверки. Начинать там советуют с самого простого варианта и усложнять лишь при необходимости.

Главная ловушка — контроль съедает эффект

Если проверять всё, сотрудник снова просматривает каждое поле каждого заказа, а агент лишь добавил процессу ещё один шаг. Если не проверять ничего, экономия на вводе превращается в расходы на возвраты. Решение руководителя лежит между этими крайностями, и принимать его стоит по цифрам из журнала правок, а не по ощущениям.

Бывает и так, что агент не окупится при любой настройке контроля:

1. поток небольшой или все заказы приходят в одной форме — хватит обычной интеграции систем, без модели;
2. заказ дольше всего ждёт не ввода, а согласования цены или машины — безошибочный ввод почти не сократит общий срок;
3. в справочниках дубли клиентов и товаров — сверять не с чем, сначала нужен порядок в данных.

Что решить до подписания договора

1. Сколько решений агент принимает в типичном заказе и какую долю чистых заказов это даёт по расчёту.
2. Какие действия необратимы и кто из сотрудников стоит перед каждым из них.
3. Кто отвечает за ручную очередь: без владельца она превращается в склад забытых заказов.
4. Какую метрику процесса записать до запуска — например, срок от письма клиента до отгрузки и долю заказов без переделки.

Таблица контрольных точек по шагам заказа, источники цифр и чек-лист на один день — в разборе базы знаний: https://a2labs.ru/znaniya/kontrolnye-tochki-ii-agenta.html

О нас коротко: команда A2 Labs ускоряет бизнес-процесс целиком, а не отдельный шаг. Сначала меряем процесс от входа до результата, затем ставим агента туда, где выигрывает весь процесс, и проверяем решение работающим Прототипом. Диагностика процесса занимает около двух недель и для заказчика бесплатна.

A2 Labs — российская команда внедрения ИИ-агентов, сайт a2labs.ru.