Человек против ИИ

2023-06-23 13:26:05 Время чтения 5 мин 303

Пресс-релиз                                                                                                             20.06.2023                             

В Москве прошёл первый бой PR-специалиста с нейросетями Yandex

GPT и Chat GPT

Медленно победил человек

«Давай придумаем 30 заголовков новостей для производителя красок для фасадов»

20 июня 2023 года PR-агентство Идеи&Решения провело соревнование между специалистом по связям с общественностью и двумя нейросетями — Yandex GPT и Chat GPT. Перед «бойцами» была поставлена задача придумать по 30 заголовков новостей для некоего клиента — производителя краски для фасадов зданий. Победа в скорости осталась за искусственным интеллектом, но качественная победа — за человеком. Оценку результатов проводили 11 опытных PR-специалистов агентства.

Самый быстрый (менее одной минуты) результат выдал Yandex GPT, ещё через минуту закончил работу Chat GPT. Человека остановили через полчаса. Однако более 90 % идей нейросетей жюри признало непригодными к использованию. Биологический объект выдал результат, на 86 % готовый к работе.

Ссылка на идеи с указанием авторства.

Пригодными для использования (то есть признанными более чем половиной экспертов осмысленными новостными заголовками) оказались у человека 86 % идей. То есть 24 из 28. Пригодные для использования идеи нейросетей: 0 % Chat GPT и 6 % (одна из 18) Yandex GPT.

Ссылка на таблицу оценки идей членами жюри (с указанием авторства идей и сортировкой по авторам).

По оценке директора по развитию PR-агентства Идеи&Решения Натальи Ильичёвой, для решения примитивных (хотя и интеллектуальных) задач нейросети вполне применимы и сегодня. Таких задач необходимо решать довольно много, особенно при обработке больших объёмов данных. Однако для качественного решения задач среднего и тем более экспертного уровня искусственному интеллекту нужно ещё подучиться.

«Все идеи были неплохими, но не все подходили к следующему заданию: написать заголовок релиза. Написаны заголовки грамотно. То есть работу искусственного интеллекта сложно было отличить от заголовков, написанных человеком, — рассказывает член жюри Мария Жожина.  — Разница лишь в том, что у заголовков нейросетей “торчали рекламные уши”. К сожалению, не только GPT этим грешит, но и неопытные пиарщики».

Количественные результаты

Время выполнения задания:

1) Yandex GPT выдал результат менее чем через минуту;

2) Chat GPT работал чуть менее двух минут;

3) человека ограничили 30 минутами индивидуального мозгового штурма.

Число идей организаторы решили не считать принципиальным показателем, хотя задача включала конкретную цифру. В то же время все участники 🙂 предлагали продолжить.

  1. Яндекс GPT — 18 идей.
  2. Chat GPT — 27 идей.
  3. Человек — 26 идей.

Качественные результаты

Для оценки качества идей использовалась выдержка из стандартов оценки качества новостей PR-агентства Идеи&Решения (используется в практической деятельности с 2006 года). Для заголовков экспертам предлагалось дать оценку каждой идеи по двум критериям:

1) новость предложена участником соревнования. Её заголовок должен отвечать на вопрос «Что случилось» и быть информативным для читателей, а не прямолинейным и рекламным. Оценка — бинарная: для качественных новостных заголовков предлагалось поставить 1, для некачественных — 0;

2) для идей, которые с точки зрения экспертов являются действительно новостными, предлагалось дать оценку силы новости от 1 до 5, где пять — новость интересная, достойная топовых средств массовой информации.

Члены жюри оценивали по списку идей, представленных в хаотичном порядке. При этом их авторство не указывалось.

Дополнительная информация: +7 (499) 110-45-10.

Телеграм-канал агентства: https://web.telegram.org/z/#-1580660805.

Справка

PR-агентство Идеи&Решения работает на рынке с 1996 года. Является единственным крупным агентством России, открыто предоставляющим финансовые гарантии результативности коммуникационных кампаний. Входит в топ-50 коммуникационных агентств России. Команда Идеи&Решения—это более чем 50 специалистов в сфере маркетинга, Public Relations, организации мероприятий, интерактивных коммуникаций и журналистики. Сайт:www.iands.ru