Кто отвечает за ИИ-агента: почему эту задачу нельзя передать IT
ИИ-агент может изменить запись в CRM, отправить письмо клиенту или запустить следующий этап процесса. Но кто отвечает, если технически корректное действие оказывается неверным для бизнеса? Этот вопрос нельзя закрыть интеграцией или передать разработчикам: руководителю предстоит определить полномочия машины, допустимый риск и владельца результата.
Этой статьей мы открываем цикл из трех материалов Елены Леонидовны Пинтелеевой об управлении ИИ-агентами. В первом разберем ответственность: кого назначить бизнес-владельцем, какие права ему необходимы и как разделить работу бизнеса, IT, информационной безопасности и юристов. Во втором обсудим границы самостоятельности агента и точки вмешательства человека. В третьем — подготовку первого пилота за 30 дней и оценку его результата.
Автор цикла — Елена Леонидовна Пинтелеева, эксперт с опытом развития наземных сервисов в Домодедово, автоматизации коммерческой аналитики в «Аэроэкспрессе» и работы в проектной группе X5/Teradata. Сегодня в STRUCTED.AI она применяет этот опыт к проектированию поведения ИИ-агентов и распределению работы между человеком и машиной.
Когда инструмент становится агентом
Я провожу границу не по качеству модели и не по тому, насколько убедительно она разговаривает.
Пока система анализирует информацию, готовит справку, текст или рекомендацию, а человек сам решает, что с этим делать, — это инструмент поддержки. Ситуация меняется, когда система получает цель, сама определяет последовательность шагов, обращается к данным и другим системам, а затем выполняет действие: меняет статус в CRM, создает задачу, отправляет письмо, формирует заказ или запускает следующий этап процесса.
Но я бы не называла такого агента «новым сотрудником». Это все еще машина. Просто теперь ей делегировано не только вычисление, но и право действия внутри бизнес-процесса.
Руководителю приходится проектировать мандат машины: какую задачу она решает, какие данные использует, что выполняет самостоятельно, при каких условиях останавливается и возвращает решение человеку.
Поэтому моя формула такая: автономность действия не означает автономность ответственности. Машина может работать самостоятельно. Ответственность за то, зачем ей дали это право и где провели границы, остается у человека.
Почему сначала нужно разобраться с процессом
Обычно компании начинают с эффективности: хотят быстрее обрабатывать обращения, сократить трудозатраты, автоматизировать аналитику, уменьшить стоимость операции. Это нормальные цели. Проблема возникает, когда первым становится вопрос: «Куда нам поставить AI?»
Я начинаю с другого: что именно сегодня не работает в процессе и почему?
Если функции спорят о полномочиях, данные противоречат друг другу, исключения существуют только в головах опытных сотрудников, а показатели подразделений толкают их в разные стороны, агент этого не исправит. Он получит возможность воспроизводить тот же хаос значительно быстрее.
Эта бизнес-логика сложилась задолго до современных агентов. Весь мой опыт об этом.
В Домодедово я отвечала за развитие наземных сервисов и работала с проектом нового международного терминала. Мы не начинали с автоматизации. Исходную концепцию пришлось пересобирать через понимание пассажирских потоков, клиентского сервиса, коммерческих задач, безопасности, таможни и других участников. Сначала — логика системы, потом — решения внутри нее.
В «Аэроэкспрессе», при автоматизации коммерческой аналитики, я была бизнес-заказчиком и фактически переводчиком между коммерческой функцией и IT-архитекторами.
В проекте X5/Teradata находилась с другой стороны — в проектной группе IT. Переводила бизнес-потребность на язык разработчиков, архитектуры данных, отчетности и дашбордов. Для этого нужно понимать, какие данные и когда необходимы руководителю, какое решение он примет и как оно повлияет на процессы.
Сейчас в STRUCTED.AI тот же принцип применяется к поведению агентов, создающих решения для маркетинга. Сначала нужно понять человеческую и бизнес-задачу. Затем определить, какую часть работы имеет смысл передать машине.
Первый риск — управленческий вакуум
Я считаю, что первым возникает не риск галлюцинации модели и даже не утечки данных. Сначала появляется управленческий вакуум.
Очень быстро компании придется ответить на вопросы:
- Что важнее в конкретном случае — скорость или точность?
- Какая ошибка обойдется бизнесу дороже?
- Допустимо ли исключение?
- Когда агент должен прекратить работу?
- Кто меняет его правила, если изменился бизнес?
Эти вопросы нельзя решить только технически. Без владельца они начинают перемещаться между бизнесом, IT, ИБ, юристами, разработчиками и поставщиком. Каждый отвечает за свою часть системы. Никто — за конечный результат.
При этом владельца иногда не назначают не потому, что забыли. Люди вполне рационально не хотят отвечать за систему, правила которой не могут изменить, доступы которой не контролируют и которую не способны остановить.
Поэтому недостаточно написать в регламенте: «Владелец — директор функции». Вместе с ответственностью ему нужны три реальных права:
- Менять правила работы агента.
- Ограничивать его полномочия.
- Останавливать его.
Ответственность без этих полномочий — фиктивная конструкция.
От редакции РШУ. Если обсуждение агента упирается в неясные правила, данные и распределение решений, начинать стоит с подготовки руководителя к этим вопросам. В программе «Цифровые компетенции» рассматриваются применение ИИ в управлении и работа с данными для принятия решений.
Кого назначить владельцем результата
Я выбирала бы не должность, а место ответственности в процессе.
Есть простой проверочный вопрос: если бы этот процесс завтра дал плохой результат вообще без ИИ, кто объяснял бы его генеральному директору? Этот человек — первый кандидат на роль владельца агента.
Обычно это владелец процесса или руководитель функции. Но он должен соответствовать четырем условиям: отвечать за результат, понимать последствия ошибки, менять правила процесса и определять границы работы человека и технологии.
Директор по цифровой трансформации может отвечать за общую методологию внедрения и портфель инициатив. Но автоматически делать его владельцем десятков агентов в продажах, закупках, HR и эксплуатации неправильно. Он не владеет бизнес-решениями этих процессов.
Почему IT не может отвечать за все
Техническая возможность выполнить действие и право решить, следует ли компании его совершать, — разные вещи.
IT-подразделение может интегрировать агента с CRM. Но оно не должно определять, кому предоставить скидку, какой риск потери клиента принять или когда сделать исключение из коммерческого правила. У IT нет всей информации для такого решения.
Для меня хороший пример — Pay Gate в «Аэроэкспрессе». Это не ИИ-кейс, и именно поэтому он показателен: проблема существовала задолго до агентов. Работоспособность решения зависела от IT, эксплуатации, коммерческой функции, банков-эквайеров, Visa и Mastercard, РЖД и других участников. Технология выполняла операцию. Техническая сложность не делала IT владельцем бизнес-результата.
С агентами разграничение должно быть таким:
Распределенный контроль не означает распределенной ответственности за бизнес-результат. У него остается один владелец.
Как не превратить согласование в коллективную безответственность
Нужно разделить право вето и право бизнес-решения.
ИБ должна иметь возможность сказать: так подключаться нельзя. Юристы — такое действие создает недопустимое обязательство. IT — эту архитектуру невозможно безопасно эксплуатировать.
Но после выполнения ограничений нужен человек, который говорит: мы запускаем, разрешаем такой уровень самостоятельности, принимаем такой остаточный риск и оцениваем успех по такому результату.
Пока пилотов один-два, достаточно согласовать основные правила. Когда агентов становится много, они используют общие данные, взаимодействуют с клиентами и контрагентами, нужен единый контур управления — AI governance.
Его задача — установить общие требования к рискам, доступам, тестированию и расследованию ошибок. Но комитет не должен принимать вместо владельца процесса его бизнес-решения. Иначе коллективная безответственность просто поднимется на уровень выше.
Чек-лист: определена ли ответственность за агента
- Названа конкретная должность владельца результата.
- Владелец вправе менять правила, ограничивать и останавливать агента.
- Указано, кто меняет цель, расширяет доступ и повышает автономность.
- Право вето отделено от права принять итоговое бизнес-решение.
- Определено, кто принимает решение после инцидента.
Если вместо конкретной должности компания отвечает «IT», «бизнес» или «ИБ», ответственность еще не определена.
Что дальше
До выбора платформы составьте короткую карту полномочий будущего агента. Она покажет, какие решения уже приняты, а какие пока скрываются за словом «автоматизация».
От редакции РШУ. Если для этой работы нужно разобраться в возможностях ИИ и роли данных в управлении, рассмотрите программу «Цифровые компетенции». Подписка на материалы РШУ поможет продолжить подготовку: получать разборы управленческих задач и практики применения цифровых инструментов.