Что теряет бизнес, когда ИИ-агент ошибается молча

2026-11-09 11:39:25 Время чтения 6 мин 128

Бизнес теряет то, чего в отчёте агента не видно: пропавшие задачи, стёртые файлы и неверные ответы клиентам. ИИ-агент бросает работу, когда она только выглядит законченной, и пишет «готово», не предупредив о пропуске. От этого страхуют доступы с подтверждением опасных команд и постановка задачи одним сообщением, где сказано, по какому признаку работу примут, откуда брать данные, где спросить человека и чем агент докажет результат.

Утренняя сводка потеряла три задачи из тринадцати

 ИИ-помощник собрал обычную сводку дня. В разделе «Сегодня» лежало 13 задач, до сводки дошли 10. Сигнала не было никакого, ни ошибки, ни предупреждения. Теперь программа сама сверяет, все ли задачи из «Сегодня» попали в сводку.

ИИ-агент сам делает шаги задачи и заканчивает, когда результат похож на готовый, так написано в документации Claude Code от Anthropic. Если своей проверки у агента нет и человек её не сделал, пропажа всплывает потом забытым звонком клиенту или пустым днём в контент-плане.

Запрет в чате агента не остановит

Дизайнер из Греции в начале декабря 2025 года попросил агента Antigravity от Google очистить кэш проекта, то есть временные файлы. Агент удалил весь диск D, ничего не спросив и мимо корзины. Большую часть файлов, как писали The Register и How-To Geek, вернуть не удалось. По сообщениям, у дизайнера был выключен режим, в котором агент ждёт «да» перед каждой командой.

Похожее случилось в июле 2025 года в сообществе SaaStr у Джейсона Лемкина. Агент Replit стёр базу с настоящими данными, с записями о более чем 1200 руководителях и примерно 1190 компаниях, писал Fortune. Лемкин запретил любые изменения без своего одобрения и, по его словам, одиннадцать раз писал агенту заглавными буквами. После этого Replit, по данным Fortune, отделил тестовую базу от настоящей.

Что агенту можно удалять, оплачивать и отправлять, решают подтверждение команд и доступы, как отдельная тестовая база у Replit. Запрет в переписке агент может нарушить, Лемкину не помогли и одиннадцать.

Агенту, который говорит с вашими клиентами, порог нужен в цифрах и заранее, иначе его подгонят под то, что получилось. Нашему ИИ-менеджеру заявок условия записали до запуска. На настоящих обращениях клиентов от него требовали не ниже 90 % правильных ответов, ноль фактов не из базы и 10 отбитых попыток заставить бота нарушить правила. Жёстче всего порог по фактам, в нём нет допуска: одна выдуманная цифра в ответе клиенту стоит дороже многих верных ответов.

Задача в четыре строки и сразу целиком

Хорошая постановка укладывается в четыре строки первого сообщения.

  1. «Готово, когда…» и признак, заметный со стороны, например «форма заявки отправляется с телефона».
  2. «Данные бери из…» и разрешённые файлы, за их границы не выходить.
  3. «Спроси перед…» и опасные шаги вроде удаления, оплаты или письма клиенту. Если в данных ответа нет, агент говорит «не знаю».
  4. «Покажи…» и доказательство, скриншот или тест.

Для греческого дизайнера задача могла бы выглядеть так. «Готово, когда в папке кэша внутри проекта ничего не осталось. Данные бери из проекта и больше ниоткуда. Спроси, прежде чем удалить что-то снаружи. Покажи, какие файлы удалены». Третья строка подсказала бы агенту, где спросить, но остановить его могло только подтверждение команд.

Дробить задачу на реплики не стоит. Филипп Лабан с соавторами в мае 2025 года проверили 15 моделей на более чем 200 000 разговорах. Если задачу выдавали частями за несколько ходов, качество опускалось в среднем на 39 %. Замер сделан в чатах.

Что поручить команде на этой неделе

«Готово» агента чего-то стоит, только если команда заранее записала признак приёмки и оставила за собой последнее «да». Иначе пропажу, как с тремя задачами из сводки, заметят позже.

  1. Руководитель выбирает для агента одну задачу, например одну посадочную страницу вместо всего сайта.
  2. Тот, кто ставит задачу, пишет её одним сообщением в четыре строки.
  3. Тот, кто выдаёт агенту доступы, проверяет, что удалять, платить и писать клиентам агент может только после «да» человека.
  4. Ответ агента сверяют со строкой «Покажи…». Скриншота или теста нет, значит работа не сдана.

Если агент работает с клиентами или деньгами, начните с доступов, если с внутренними задачами, то с приёмки.

Если одну и ту же ошибку пришлось поправлять больше двух раз, откройте новый чат с исправленной задачей, а не правьте дальше в старом. Так советуют и Anthropic, и авторы исследования Лабана.

Роман Кауфман, основатель Кауфман Lab