«Сбер» представил на конференции AI Journey новую версию сервиса GigaChat, в основе которого лежит одна из наиболее продвинутых моделей для русского языка с 29 млрд параметров. Она превосходит самый популярный открытый аналог LLaMA 2 34B. Об этом сообщили в пресс-службе банка.
Благодаря новой большой языковой модели (LLM) улучшилось качество суммаризации, рерайтинга и редактирования текстов, а также ответов на вопросы.
«Команда сравнила ответы новой и предыдущей моделей и зафиксировала общее повышение качества на 23%. При этом с фактологией анонсированная модель справляется на 25% лучше предыдущей версии», — рассказали в пресс-службе «Сбера».
Банк провел много экспериментов по улучшению LLM и повышению эффективности её обучения. В частности, применялся фреймворк для обучения больших языковых моделей с возможностью шардирования весов нейросети по видеокартам.
«Сбер» запустил первую модель GigaChat нового поколения в октябре этого года. Практически все умения модели — от сокращения текстов и ответов на вопросы до генерации идей — улучшились за счёт изменения подхода к обучению.