«Яндекс» запустил технологию создания видео с помощью нейросети для пользователей «Шедеврума». Приложение по запросу генерирует короткие ролики, которые в том числе могут стать основой для музыкальных клипов, анимации или динамических аватарок в соцсетях. Об этом Sostav сообщил представитель «Яндекса».
«Шедеврум» может создавать видео длиной четыре секунды с частотой 24 кадра в секунду в формате MP4. «Сейчас функция работает в режиме тестирования. Генерация видео доступна активным пользователям «Шедеврума» в обновлённой версии приложения, а посмотреть результаты в ленте приложения могут все», — уточнили в компании.
Чтобы сгенерировать видео, нужно составить в приложении его текстовое описание. В ответ «Шедеврум» предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. За основу нейросеть берёт выбранное пользователем изображение, генерирует набор его изменённых версий и объединяет всё выбранным эффектом. Как пояснили в компании, сейчас их семь: зум (приближение), таймлапс (ускоренная перемотка), полёт, панорама, вращение, подъём и морфинг (постепенное изменение).
«Для создания кадров будущего видео используется метод каскадной диффузии. С помощью этой технологии «Шедеврум» генерирует отдельные изображения. Сначала нейросеть создаёт картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями», — рассказали в компании.
Генерация видео дополняет другие возможности «Шедеврума» — создание изображений и текстовых постов с заголовком и иллюстрацией. Запрос на коммерческое использование контента из приложения можно через форму обратной связи — ответ придёт в течение пяти рабочих дней.
«Яндекс» представил бета-версию приложения «Шедеврум» в начале апреля. В день запуска оно возглавило топ российского App Store. На текущий момент его установили 5,8 млн пользователей iOS и Android. В мае «Яндекс» добавил в «Шедеврум» подписки на авторов.
Впервые YandexGPT стал доступен 17 мая в новом режиме виртуального помощника «Алисы». Нейросеть обучалась на суперкомпьютерах «Яндекса», она изучила огромное количество общедоступных материалов и сотни тысяч содержательных текстов. Технология работает в режиме тестирования: нейросеть может ошибаться в фактах.