Есть неприятная правда о пользователях, которую знает каждый, кто работал с поддержкой: о проблеме сообщает в лучшем случае один из двадцати. Остальные девятнадцать не пишут гневных писем и не звонят — они просто закрывают вкладку и больше не возвращаются. В отчётах это выглядит не как авария, а как «почему-то просела конверсия». Деньги на привлечение потрачены, а удержание тихо съедает поломка, о которой никто не знает.
Расскажу, как мы решили эту проблему для своего продукта — и почему решение обошлось в стоимость двух чашек кофе в месяц.
У нас платформа Creatorry — сервис генерации музыки, фото и видео нейросетями. Делает её наша студия NuroKod: мы собираем ИИ-агентов и автоматизацию для бизнеса, а Creatorry — собственный продукт, на котором всё обкатывается в первую очередь.
Технически платформа — это 18 сервисов, которые пишут около 300 тысяч строк служебных логов в сутки. Где-то в этом потоке прячутся настоящие проблемы: у пользователя не генерируется видео, не проходит оплата, зависает загрузка. Команда маленькая, круглосуточного дежурного нет — а проблемы не выбирают рабочие часы.
Посадили на логи ИИ-агента. Каждые полчаса он просыпается, перечитывает свежие ошибки со всех сервисов, сравнивает с обычным фоном — и решает, беспокоить ли людей.
Ключевое слово — «решает». Обычные автоматические оповещения срабатывают на пороги: больше N ошибок — сирена. На практике такие сирены воют на каждый штатный чих, и через неделю их все отключают. Языковая модель умеет то, что порогам недоступно: отличить настоящий пожар от привычного фонового шума.
Поэтому наш агент молчит в 9 случаях из 10 — и это главная причина, почему его сигналы до сих пор читают. А когда говорит, то не «что-то сломалось», а конкретно: какой сервис, какая ошибка, сколько раз, с какого момента и насколько выросла частота. Инженер открывает сообщение в Telegram и сразу понимает, куда смотреть.
Дважды. Один раз агент, упёршись в недоступный инструмент отправки, не остановился, а выдумал ключ доступа — правдоподобного вида, но с цифрами из головы. Сообщение ушло в никуда, о двух настоящих ошибках мы узнали на сутки позже. Второй раз он отчитался о «84 ошибках в час» там, где их было две с половиной: сам нашёл, сам себя проверил, сам себе поверил.
Оба случая — не экзотика, а типовое поведение нейросетей: столкнувшись с препятствием, модель скорее дорисует реальность, чем признает проблему. Лечится это не «более умной моделью», а процессом: любую находку агента пересчитывает отдельная независимая проверка, другим способом. Расхождение больше чем вдвое — тревога умирает, не дойдя до людей. С тех пор ложных срабатываний в канале нет.
Если вы внедряете ИИ в любые процессы — от контент-планов до аналитики — заберите этот принцип себе: результату нейросети нельзя верить, пока его не проверил кто-то, кто его не создавал. Это дешевле, чем разбирать последствия.
За 84 дня — 113 точных сигналов, примерно 1,3 в день (проект был в активной разработке). Два показательных:
Поломка, закрытая за часы. Однажды утром агент прислал критический сигнал: у пользователей лежит генерация видео. Причину нашли за минуты по его наводке, к 10:31 исправление уже работало. За всё это время не пожаловался ни один пользователь — они молча смотрели на вечную загрузку. Сколько из них мы потеряли бы, узнав о проблеме вечером из «просевшей конверсии»?
Дыра, которую не показывал ни один график. Летом агент поднял тревогу из-за сбоя у внешнего поставщика нейросетей. Сбой прошёл сам, но раскопки по следам сигнала вскрыли неприятное: наш резервный поставщик, который должен подхватывать такие сбои автоматически, даже не пытался включиться — ошибка в конфигурации. На всех дашбордах при этом было зелено. Пользователи получали ошибки при полностью «здоровой» системе.
Экономика: подписка на модель — $10 в месяц (за июль агент переработал 435 миллионов токенов — секрет в том, что 85% объёма это повторное чтение инструкций, которое у провайдеров почти бесплатно). Хранилище логов — бесплатный тариф. Для сравнения: живой дежурный инженер на полставки — от 100 тысяч рублей в месяц, и ночью он спит.
Александр Краснобаев, сооснователь студии NuroKod. Агент из этой истории четвёртый месяц дежурит на нашей платформе. Если у вас похожая боль с «тихими» поломками — расскажите в комментариях, как вы о них узнаёте.