Почему ИИ иногда додумывает и как этого избежать
ИИ – великий сказочник. Если дать ему волю, он придумает ответ за менеджера и будет уверять, что так оно и было.
Для команды продаж это не абстрактная проблема. Руководитель открывает отчёт по звонкам, видит оценки, строит на них решения – кого учить, кого хвалить, где менять скрипт. Если часть оценок выдумана, то и решения тоже будут выдуманные. Причём заметить это трудно: галлюцинация выглядит так же убедительно, как настоящий разбор.
Откуда берутся такие ошибки и что мы в сервисе ИИ-аналитики и автоматизации продаж Аихаб делаем, чтобы их не было.
Краткий ликбез: как вообще устроены нейросети
Если очень упрощать, языковая модель – это очень хороший поисковик. Она не рассуждает и не проверяет факты, а подбирает статистически самый подходящий ответ на запрос.
Модель не различает «я знаю» и «я не знаю». У неё нет внутреннего сигнала, который загорается, когда данных не хватает. Есть только вероятность следующего слова – и она посчитается в любом случае, даже если исходных данных ноль.
Свежий пример: пользователи Reddit массово запостили фейковые новости о смерти Трампа – и модели начали выдавать это как факт со ссылками на «самые последние статьи». Естественно, никакого фактчекинга не было, просто ответ оказался самым популярным.
Отсюда главное правило работы с любой нейросетью: она не откажется отвечать сама. Отказ нужно закладывать в инструкции, данные и процесс.
По опыту Аихаб, есть 3 основных причины ошибок.
1. Плохое качество записи
Всё, что модель знает о звонке, – это его расшифровка. Что не попало в текст, для неё не существует.
Если звонок записан в моно, голоса обоих собеседников идут одним каналом, поэтому модели трудно понять, где менеджер, а где клиент. Транскрибаторы уверенно работают со стерео: когда один человек в левом канале, а второй – в правом.
Мешают и вещи попроще: тихая речь, проглоченные окончания, прерывающаяся связь. Такие звонки сложно даже просто перевести в текст без ошибок.
2. Переполненное контекстное окно
У модели ограничен объём информации, с которым она работает за один раз. Если звонок длинный, а чек-лист на тридцать пунктов – к концу заполнения она может забыть, что отвечала в начале.
3. Плохо составленный промпт
Это самый частый источник галлюцинаций. Представьте ситуацию: в систему попал оборвавшийся звонок из пяти фраз, а промпт требует прогнать его по тридцати пунктам чек-листа. Модель воспринимает инструкцию буквально. То, что данных для ответа нет, её не останавливает – и она начинает додумывать.
«Оцени работу с возражениями» она читает как «оценка обязательна». Варианта «возражений не было» в инструкции нет, значит, его для неё не существует.
Пять вещей, которые делает Аихаб, чтобы ИИ работал корректно
1. Пишем подробные промпты с ограничениями, чтобы нейросеть ничего не додумывала. Модели нужны предельно чёткие инструкции – и это касается не только ИИ-аналитики коммуникаций, но и работы с нейросетями в целом.
2. Просим клиентов настраивать стереозапись, если есть такая возможность. С ней транскрибаторы работают точнее.
3. Оцениваем смысл, а не набор слов. Поиск по списку ключей засчитает менеджеру «конечно, поможем», даже если это прозвучало пассивно-агрессивно. Мы смотрим на весь диалог: что человек имел в виду, а не какие слова произнёс. Сквозная LLM обучается на базовых атрибутах вроде приветствия, на отраслевых – специфике бизнеса и типовых возражениях в нише, и в закрытом контуре клиента, если у него есть своя база знаний.
4. Разные звонки разбираем по-разному. Один чек-лист не может одинаково подходить первичному входящему и звонку после того, как клиент побывал в клубе офлайн, поэтому мы расщепляем коммуникации на этапы сделок и типы звонков.
5. Оставляем менеджеру право не согласиться. Он вносит коррективы в отработку ИИ, руководитель их согласовывает.
Главное, что нужно помнить: большинство ошибок ИИ предсказуемо, и почти каждую можно предупредить.
Больше контента про ИИ и продажи – в Telegram-канале Аихаб. Там мы рассказываем, как с помощью нейросетей усилить продажи, разбираем реальные ошибки менеджеров и делимся наблюдениями из работы с клиентами.