«Яндекс» анонсировал линейку нейросетей YandexGPT 3. Первая языковая модель линейки — YandexGPT 3 Pro — доступна на сайте Yandex Cloud, сообщили Sostav в компании. Там отметили, что эта нейросеть «лучше работает со сложными запросами» и «точнее следует заданному формату ответов». Она подойдёт при решении реальных задач компаний и в IT-продуктах. При этом бизнес-пользователи самостоятельно смогут дообучить нейросеть. Кроме того, в ближайшее время нейросети третьего поколения YandexGPT появятся в сервисах «Яндекса» для широкой аудитории.
Как пояснили в компании, YandexGPT 3 Pro можно встроить в продукты бизнеса через API. Перед этим качество работы нейросети можно оценить в демо-режиме. Зарегистрированные пользователи получат 100 бесплатных запросов в час.
В «Яндексе» уточнили, что YandexGPT 3 Pro эффективнее решает сложные задачи и лучше понимает контекст беседы по сравнению с YandexGPT 2.
«Языковая модель хорошо обрабатывает инструкции с несколькими условиями, а ещё — корректнее работает с фактами, даёт более точные и полные ответы и допускает меньше стилистических ошибок», — отметили разработчики.
При этом YandexGPT 3 Pro может обрабатывать «существенно» больше запросов за единицу времени, чем языковые модели прошлого поколения YandexGPT.
В компании подчеркнули, что новая нейросеть «особенно хорошо» проявляет себя в таких сферах, как клиентская поддержка, онлайн-продажи, цифровые коммуникации, маркетинг, реклама и управление персоналом. Также языковая модель лучше работает с документами. Например, она может составлять договоры, счета, нормативную документацию, должностные инструкции и другие формы.
«Задачи, связанные именно с перечисленными отраслями, составили значительную часть набора данных для обучения YandexGPT 3», — указали в «Яндексе».
Для оценки качества работы YandexGPT 3 Pro разработчики использовали несколько тестов. Первый из них — YaMMLU_ru, локализованная на русский язык версия международного бенчмарка MMLU.
Ещё разработчики применили методику Side by Side (SBS) тестирования для того, чтобы оценить, как новая модель справляется с генерацией идей, обобщением информации, задачами классификации, созданием контента и другими бизнес-задачами.
«В среднем YandexGPT 3 отвечала лучше, чем YandexGPT 2 в 67% случаев. При работе с пользовательскими запросами и обработке бизнес-запросов новая нейросеть отвечала лучше в 69% и 60% случаев соответственно», — поделились результатами тестов в компании.
Чтобы проверить то, насколько хорошо ответы первой нейросети из линейки YandexGPT 3 соответствуют заданному в запросе формату, разработчики создали русскоязычный тест на базе бенчмарка IFEval. При этом они значительно расширили список решаемых задач и усложнили их.
Отмечается, что в сравнении с YandexGPT 2 качество ответов YandexGPT 3 улучшилось на 10 процентных пунктов, а их консистентность увеличилась в два раза. «Это значит, что нейросеть научилась лучше понимать, какими именно должны быть ответы на одинаковые по сути, но сформулированные по-разному запросы», — пояснили разработчики.
Кроме того, как утверждают в «Яндексе», новая языковая модель «значительно реже ошибается». По сравнению с YandexGPT 2 количество фактических ошибок сократилось с 16,4% до 13,5%, а доля неподтверждённой информации в ответах снизилась с 6,4% до 5%.
Количество ситуаций, когда модель не может дать ответ на вопрос пользователя, сократилось в пять раз. Все проверки проводились с помощью специального набора особенно сложных запросов, применимых в реальном бизнесе, указали в компании.
В сентябре 2023 года «Яндекс» представил новую модель нейросети YandexGPT 2. Она способна адаптировать ответы под разную аудиторию, формулировать их в разных жанрах и стилях.