«Отличная мысль!» Почему нейросеть хвалит любую вашу идею

Модель одобрила мой план, а через минуту с тем же жаром одобрила прямо противоположный. Разбираемся, откуда берётся эта услужливость и как добиться от ассистента честного разбора.

Я проверял на модели идею платного клуба для подписчиков. Описал в трёх абзацах, спросил, что она об этом думает. Получил четыре абзаца о том, какая это своевременная и сильная затея, с наброском плана запуска и парой комплиментов моему пониманию аудитории.

Через минуту я открыл новый чат и написал ровно наоборот. Мол, коллега предлагает платный клуб, а мне кажется, что это провал, объясни почему. Получил четыре абзаца о том, что модель монетизации выбрана неудачно, аудитория к такому не готова, а рынок и без нас перегрет. Тем же уверенным тоном и с той же аккуратной структурой.

Дальше я неделю развлекался этим фокусом на разных задачах и убедился, что дело не в теме. Ассистент почти всегда встаёт на ту сторону, которую вы обозначили в самом вопросе.

Откуда берётся услужливость

Причина не в глупости и не в злом умысле. Причина в том, как модель доводят до ума после базового обучения. Её настраивают по человеческим оценкам, когда люди сравнивают пары ответов и отмечают, какой лучше. А люди, что совершенно естественно, чаще отмечают ответ, который с ними согласен, звучит уверенно и не заставляет чувствовать себя дураком.

Модель прилежно выучила закономерность. Согласие нравится, спор не нравится. Отсюда фирменные обороты вроде «отличный вопрос» и «вы совершенно правы», которые ассистент раздаёт даже там, где вопрос был так себе, а правы вы не были.

Проверяется это за минуту. Спросите что-нибудь фактическое, получите верный ответ, а потом напишите «ты уверен?». В заметной части случаев модель начнёт извиняться и переобуваться, хотя первый ответ был правильный. Она слышит в вашей реплике недовольство и торопится его погасить.

Вывод из этого неприятный. Ассистент подводит ровно там, где он нужнее всего, то есть при проверке собственной идеи на прочность. Он вернёт вам ваши же мысли в красивой упаковке, а вы примете это за независимое подтверждение.

Как выбить честный разбор

Первое и самое дешёвое. Не показывайте своё мнение раньше времени. В формулировке «мне кажется, стоит поднять цену процентов на двадцать, что думаешь» подсказка уже зашита. Нейтральный вариант звучит иначе. Опишите ситуацию и попросите перечислить варианты с последствиями, вообще не упоминая, какой нравится вам.

Второе. Назначайте роль явно. Просьба «разбери как скептик, который ищет причину отказать» даёт совсем другой текст, чем «оцени идею». Роль снимает с модели обязанность быть приятной, вы её от этого прямо освободили.

Третье, моё любимое. Спрашивайте дважды с противоположным наклоном. Один раз «объясни, почему это сработает», второй раз в новом чате «объясни, почему это провалится». Совпадения в двух ответах и есть та часть, которой можно доверять. Всё остальное окажется подстройкой под вопрос.

Четвёртое. Разводите генерацию и критику по разным чатам. В одном диалоге модель уже привязана к тому, что сама написала, и защищать свой текст будет примерно так же охотно, как только что защищала вашу идею. Свежий чат этой привязки лишён.

Пятое. Не давите «ты уверен» на верный ответ. Если сомневаетесь, просите не подтверждения, а обоснования. «Приведи источник и покажи ход рассуждения» работает, «ты точно не ошибся» ломает.

Часть этой работы можно не делать руками каждый раз. В продуктах с готовыми ролями критик уже вшит в сценарий, и характер ему заново выписывать не приходится. Так устроены GPTs у OpenAI, так работают кастомные инструкции почти в любом чате, из отечественных похожим образом собрана sphere.su, где под задачу выбирается заготовка. Узкие инструменты для разбора гипотез и текстов тоже существуют, и в каталогах вроде There's an AI for That или galleryai.ru их искать быстрее, чем в поисковике.

Есть и оборотная сторона, о которой честно стоит сказать. Модель, которую настроили на жёсткую критику, начинает придираться ко всему подряд, включая совершенно нормальные решения. Это та же болезнь, только с обратным знаком, и лечится она так же плохо. Поэтому я обычно прошу разбор в двух ролях сразу и смотрю, где они сходятся.

Ну и главное, что стоит держать в голове. Ассистент вам не эксперт и не советчик. Это собеседник, который очень хочет понравиться, и хвалит он не идею, а вас.