VK представила обновленную версию своей языковой модели Diona для генерации и обработки текстов. Теперь она требует меньше вычислительных ресурсов, снижает нагрузку на инфраструктуру и ускоряет внутренние процессы компании, сообщает «Коммерсант».
При разработке использовались некоторые наработки предыдущей версии, которую тренировали на пользовательском контенте, в том числе на комментариях из открытых групп во «ВКонтакте». Также проводилось и новое обучение модели на больших объемах текстов.
По оценке источников, инвестиции в разработку составили 500−800 млн руб. Количество параметров модели выросло в 1,5 раза — до 4−30 млрд. Diona теперь учитывает контекст до 32 тыс. токенов — в восемь раз больше, чем раньше, чего достаточно для анализа длинных документов и переписок.
В будущем VK планирует сделать Diona мультимодальной, добавив обработку видео, аудио и изображений, чтобы улучшить поисковые и рекомендательные алгоритмы. Эксперты считают, что переход к мультимодальности возможен через 2−3 года, когда появятся более доступные архитектуры и оборудование.
Ранее «Яндекс Директ» представил инструмент, который за несколько минут создаст простой сайт. Теперь даже небольшие бизнесы могут подготовить лендинг в «Директе» и сразу запустить продвижение.