Как выбрать нейросеть для маркетинговой задачи — сравниваем ответы на одном брифе

Представьте: вам нужны три поста про акцию для Телеграма. Нейросеть присылает варианты, и вы проверяете их. Один длиннее лимита, во втором потерялся срок акции, а третий добавил условия, которых нет в программе.

Чтобы выбрать модель для такой задачи, нужно передать нескольким моделям один бриф и посмотреть, что придется исправить.

Мы сравнили GPT-6 Luna, Claude Haiku 4.5 и Gemini 3.6 Flash в чате PR-CY по выполнению задания, точности сведений о продукте и объему редактуры. В статье делимся результатами эксперимента.

Бриф и условия теста

В чате GPT PR-CY можно выбирать модели разных разработчиков. Мы провели тест на трех моделях из базового раздела меню. Для каждой попытки создавали новый чат и отправляли тот же бриф. Во всех чатах оставляли пустое системное сообщение и температуру 0,6, которая задает вариативность ответа. Файлы, базы знаний и дополнительные инструменты не подключали. Запрос не уточняли и не просили переделать ответ.

В брифе описан вымышленный практикум «Отчет без паники» для маркетологов, которые вручную сводят данные рекламных кабинетов в таблицу. Два вебинара по 90 минут пройдут 12 и 19 ноября 2026 года, а участники будут работать в Google Sheets на учебных данных. Записи доступны 30 дней. При оплате до 9 ноября 2026 года включительно практикум обойдется в 4 800 ₽ вместо 6 000 ₽.

Каждая модель должна была написать три готовых объявления для Telegram о ручном сведении данных, программе практикума и сроке акции. В каждом нужны название «Отчет без паники», цена 4 800 ₽, срок акции до 9 ноября включительно и точный финальный призыв «Посмотреть программу».

В каждом объявлении допустимо не более 220 знаков с пробелами, включая призыв. В наборе нужно назвать обе даты вебинаров, продолжительность каждого, Google Sheets, учебные данные и срок доступа к записям. Длину объявления считаем без заголовков и пояснений.

Мы просили обращаться к читателю на «вы», писать без эмодзи, хештегов и ссылок. Модель не должна добавлять сертификаты, консультации, лимит мест, автоматизацию сбора данных, экономию времени или рост продаж. После каждого объявления нужно дать одно предложение с пояснением захода.

Сначала проверяем задание и факты, затем считаем правки

Наши объявления оценивали по трем признакам.

1. Выполнение задачи мы проверяли по брифу. В ответе должны быть три объявления с заданными заходами, все обязательные сведения и программа. Длину считали с пробелами, без заголовков и пояснений.
2. Для оценки фактической точности мы сверяли цену, даты и условия с карточкой. Добавленную услугу или результат считали фактической ошибкой, а пропуск нужного сведения — невыполнением задания.
3. Объем редактуры оценивали по тому, сколько из трех объявлений придется изменить, чтобы выполнить бриф. Каждую правку объясняли. Вкусовые изменения отмечали как предпочтения редактора.

Программа посчитала все знаки в объявлениях, включая пробелы и пунктуацию. Факты и необходимые изменения мы разобрали с помощью ИИ-ассистента по заданным правилам.

Исходные ответы и разбор

GPT-6 Luna

Три объявления заняли 166, 220 и 159 знаков и не потребовали обязательных правок.

Вы вручную сводите данные рекламных кабинетов в таблицу? Практикум «Отчет без паники» — 4800 ₽ вместо 6000 ₽ при оплате до 9 ноября включительно. Посмотреть программу.

Во втором объявлении модель собрала всю программу из брифа. Первое посвящено ручному сведению данных, а третье начинается со срока оплаты. Во всех трех цена и формулировка «до 9 ноября включительно» совпадают с брифом.

Claude Haiku 4.5

Claude разделил объявления на нужные заходы, но правки потребовались всем трем. Их длина — 248, 229 и 220 знаков.

Вы снова сводите данные из пяти рекламных кабинетов в одну таблицу? Практикум «Отчет без паники» покажет, как это делать системно. Два вебинара по 90 минут, Google Sheets, учебные данные. Цена 4800 ₽ вместо 6000 ₽ до 9 ноября. Посмотреть программу.

Первое объявление на 28 знаков длиннее разрешенного. Убираем лишнее и добавляем «включительно», чтобы уточнить, что акция действует и 9 ноября. Второй текст превышает лимит на девять знаков. А «месяц» доступа к записям исправляем на 30 дней.

Третье объявление уложилось в 220 знаков, но фраза «заканчивается 9 ноября» не повторяет условие «до 9 ноября включительно».

В редакторской версии первого объявления 207 знаков:

Вы снова сводите данные рекламных кабинетов в таблицу? Практикум «Отчет без паники» — два вебинара по 90 минут. Работа в Google Sheets на учебных данных. 4800 ₽ до 9 ноября включительно. Посмотреть программу.

Из первого текста убрали лишние детали и общее утверждение «делать системно», а формат обучения и инструмент сохранили. О программе и сроке оплаты расскажут остальные два объявления.

Gemini 3.6 Flash

Gemini уложил три объявления в 209, 216 и 197 знаков.

Каждую неделю вручную сводите данные из рекламных кабинетов в таблицу? Практикум «Отчет без паники» научит работать в Google Sheets на учебных данных. До 9 ноября включительно цена 4800 ₽. Посмотреть программу.

Сведения о программе модель разнесла между объявлениями. В каждом сохранила цену, срок акции и призыв, а исходные 6 000 ₽ указала в третьем варианте. Весь набор соответствовал брифу и не потребовал обязательных правок.

Повторные запуски и выбор модели

1. GPT-6 Luna во всех трех запусках сохранил коммерческие сведения и программу, ни одно объявление не потребовало обязательных правок.
2. Claude Haiku 4.5 дал три полных набора, и ни один не соответствовал брифу. В первых двух нужно исправить по три объявления, в третьем — два.
3. У Gemini 3.6 Flash есть один полный ответ без обязательных правок. Еще три выдачи остались незавершенными.

Во втором ответе Claude написал «разбор реальных кейсов» и «записи доступны 30 дней после последнего вебинара». В третьем запуске отсчет уже шел «после каждого занятия». Карточка продукта называла учебные данные и 30 дней доступа, но не содержала ни реальных кейсов, ни точки начала отсчета.

Сравните сохраненные попытки, чтобы выяснить, какой объем правок повторяется.

Как повторить сравнение на своем брифе

Для теста подойдет материал, который скоро понадобится вам, например объявления для следующего размещения. Подготовьте проверенные исходные сведения о своем продукте.

1. В карточку продукта внесите аудиторию, канал, предложение, факты, требования к результату и допустимые рекламные утверждения. Ко всем запросам приложите одни и те же примеры голоса бренда.
2. До первого запроса запишите, что обязано быть в ответе и с какими ошибками его нельзя использовать. Затем решите, какие правки будете считать обязательными. В объявлениях это точная цена, срок акции, число вариантов и длина.
3. Получите ответы двух-трех доступных моделей на подготовленный бриф. В чате GPT PR-CY модель можно выбрать в меню у поля ввода. Каждую попытку проводите в новом чате. Бриф и настройки повторяйте для всех моделей, не улучшайте промпт только для одной.
4. Дождитесь всех частей ответа и сохраните его целиком. Незавершенную выдачу пометьте как прерванную. В полном тексте проверьте условия продукта и выполнение задания, затем посчитайте объявления, которым нужна правка. Для каждого запишите, что нужно изменить и почему.
5. Повторите запрос и сопоставьте результаты попыток. Среди моделей, которые выполнили условия, выбирайте по тону и идеям. Для регулярной работы проверьте выбранную модель на нескольких типичных брифах и замерьте собственное время редактирования.

После основного сравнения проведите еще один тест с другой формулировкой брифа и сохраните удачный шаблон задания.

Объявления, которые соответствуют брифу, проверьте на аудитории. Условия размещения должны быть одинаковыми, а метрику выберите под задачу кампании.

FAQ

Как посчитать стоимость готового материала?

Сложите стоимость всех запросов, включая неудачные попытки, и оплату времени редактора по его часовой ставке. Полученную сумму разделите на число текстов, которые команда приняла. Для подписки сопоставьте расходы и выпуск за один месяц.

Что делать с закрытым клиентским брифом?

Клиентский документ сначала превратите в карточку вымышленного продукта. Уберите названия, контакты и непубличные показатели. В тестовом задании сохраните тип продукта, канал и требования к тону, а числа придумайте заново.

Как проверить модель на расчетах по рекламе?

В тестовую таблицу включите расходы, выручку и число целевых действий. Заранее посчитайте CPA и ROAS. Попросите модель вернуть расчет с формулами, затем добавьте строку с нулевым расходом и пустую ячейку с выручкой. Проверьте, как она учла пропуск и обработала деление на ноль.