7 трендовых технологий видеопродакшена на «XR-среде»
На мероприятии Сбера эксперты продемонстрировали технологии и оборудование, которые используются для создания качественных медийных продуктов.
Видеоконтент лидирует в медийной среде и играет ключевую роль в коммуникации и вовлечении аудитории. Технологии в области видеопродакшена становятся все более сложными, но доступны и на российском рынке. На прошедшей B2B-конференции «XR-среда» командами Sber AR/VR Lab и Event Lab СберМаркетинга, а также нашими партнерами из Big Black Studio были представлены 7 трендовых технологий и оборудование, которые используются для создания качественных медийных продуктов.
1. Цифровые инфлюэнсеры (Digital Influencers)
Трехмерные аватары персонажей, или MetaHuman, встречаются в компьютерных играх, фильмах, музыкальных клипах и рекламе. Чтобы получить цифровой 3D-аватар, используют специализированную сферу-сканер. Полученную 3D-модель «оживляют» аудиодорожкой и липсинком (от английского lip-sync — синхронизация движения губ со звуком).
Команды Event Lab СберМаркетинга и Sber AR/VR Lab оцифровали ведущего эксперта «Лаборатории Касперского» Сергея Голованова, чтобы спикер совместно с 3D-двойником провел деловую программу конференции «Kaspersky Кибер Кэмп».
«Все, кто сталкивался с липсинком, знают, что это дорого и долго из-за ручной отрисовки. Однако мы делаем все, чтобы технология стала доступнее. Мы разработали сервис Digital Humans SDK, который автоматизирует процесс и сокращает время продакшена. После сканирования загрузите модель, выберите голосовую аудиодорожку на любом языке и фон, далее программа самостоятельно сгенерирует качественную анимацию цифрового двойника»
2. Волюметрическое видео (volumetric-видео)
Volumetric-видео — новейшая технология создания медийного контента, которая основана на захвате и реконструкции динамического трехмерного изображения человека. Волюметрическая 3D-модель позволяет использовать больше различных спецэффектов, в отличие от классических инструментов, что востребовано в шоу-бизнесе, диджитал-перформансах, съемках рекламных и музыкальных видеороликов и экономит бюджет при создании массовки в фильмах и на концертах.
Сегодня в России доступна одна волюметрическая студия с постобработкой материала под любую платформу. И эта студия принадлежит Sber AR/VR Lab, на базе мощностей которой предоставляет услуги Event Lab СберМаркетинга. Съемка реализуется на 56 синхронизированных камерах со скоростью до 60 FPS, разрешением 4K и радиусом зоны захвата до 2 метров.
Гости увидели не только оборудование для волюметрической съемки, но и кейсы. Среди них:
- самый охватный в российском сегменте TikTok-проект #СберТанцы;
- первое в России волюметрическое шоу в метавселенной с певицей Анной Asti;
- промокампания формата web-AR к сериалу «Балет» для платформы Wink;
- кейс in-use с футболистом, где продемонстрированы использование ракурсов, облеты камер, детальная оцифровка движений не только человека, но и предмета (мяча).
«Перед покупкой волюметрического оборудования мы посещали волюметрические студии ведущих компаний — Intel, Microsoft Metastage, 4DViews — чей опыт и проекты нас вдохновляют. Чтобы построить свою студию, нам потребовалось некоторое время на изучение всех ее возможностей, разработку собственных пайплайнов. Мы не использовали готовые решения, разработали пайплайн и формат volumetric video, который самостоятельно развиваем и совершенствуем. Мы рады предложить российскому рынку сервис и качество мирового уровня»
3. Метавселенная (metaverse)
Метавселенная — виртуальная площадка с постоянным доступом для взаимодействия людей. Платформа востребована для проведения концертов, обучающих мероприятий, презентаций и конференций, а также рекламных кампаний брендов и товаров.
На момент презентации команда Sber AR/VR Lab реализовала три проекта в метавселенной:
- ток-шоу с участием digital humans для канала «Пятница!»;
- молодежный акселератор Сбера: 4 месяца и более 25 тысяч уникальных пользователей;
- совместный кейс с Event Lab СберМаркетинга — премия «Нового радио», где прошло волюметрическое шоу поп-исполнительницы с количеством просмотров более 80 тысяч.
Эксперты подчеркивают, что созданные метавселенные отличает комбинирование технологий (например, сочетание digital humans и volumetric-видео) и вовлекающая геймификация.
Технология доступна — для использования не потребуется дополнительный софт, metaverse работает в браузере. Глобально это 3D-сайт с игровыми механиками, которые вовлекают и удерживают пользователя. Глава Sber AR/VR Lab Максим Козлов рассказал, что среднее время сессии составляет 5–8 минут, что качественно вовлекает пользователя и работает на brand awareness.
4. Расширенная реальность (XR)
Технология расширенной реальности (XR) стала востребована еще в пандемийный период. Первым инструментами XR воспользовался онлайн-кинотеатр Okko, вместе со Sber AR/VR Lab и Event Lab СберМаркетинга организовавший диджитал-презентацию программы нового сезона.
В основе использовали игровой движок Unreal Engine, который объединяет изображение камеры с XR-слоем графики в режиме реального времени. Благодаря уникальной системе позиционного и оптического трекинга получается практически бесшовное сочетание реального и виртуального пространств.
Технология не потеряла позиций и после снятия пандемийных ограничений. Аналогично проходили выступления Димы Билана, Мари Краймбери, Лолиты Милявской, Анны Asti и других артистов в рамках премии «Новое радио Awards» в 2023 году. Для каждого выступления команда проекта разработала уникальное виртуальное пространство, которое транслировалось зрителям в метавселенной.
«Несмотря на то что направление технологий в ивентах запустилось только в этом году, наша команда уже реализовала большое количество кейсов, связанных с XR-графикой, виртуальными сценами. Любой динамический бэкграунд, красивая площадка, привлекательный фон — для нас нет границ, делаем все, что позволяет фантазия. Более того, мы всегда выступаем за микс технологий. Их сочетание позволяет сделать проекты интереснее и эффективнее»
5. Система управления движением Motion Control
Motion Control — комплекс технических и программных средств перемещения камеры в съемочном пространстве на базе роботизированных систем. В основе лежит принцип высокой точности и повторяемости движений, что просто реализует сложные композитные послойные съемки и работу с визуальными эффектами в режиме реального времени.
Наши партнеры из Big Black Studio — единственные в России, кто работает на оригинальном оборудовании Mark Roberts Motion Control (MRMC, США). В портфолио студии — более 100 кейсов, а в арсенале — несколько роботов с различными возможностями.
О возможностях высокоскоростной технологии Motion Control:
- роботы BOLT повторяют идентично движения по заданной траектории — можно снимать сложносочиненные сцены послойно и добавлять в них графику. С помощью технологии также решают проблему ограниченного пространства, например, при съемке внутри объекта. BOLT реализует повторяемость движений с точностью до 0,1 см — с такой точностью и повторяемостью реализуются кадры, где съемка вручную невозможна;
- также Motion Control используют для создания уникальных визуальных эффектов с сохранением реалистичности, которые недоступны для воспроизведения другими способами, кроме 3D-графики;
- среди дополнительных преимуществ — переключение между виртуальным и реальным миром, управление освещением и декорациями во время съемочного процесса, удаленная съемка из любой точки мира, настройка маршрутов для AR-сценариев, масштабирование объектов, выгрузка траектории в CG, возможность синхронизации с программами трехмерного моделирования.
6. Дополненная реальность (AR)
Расширяются и сферы применения дополненной реальности — например, появляется AR-навигация в indoor- и outdoor-режимах (рекламные кампании, интерактивные маршруты в ТЦ, аэропортах и т. п.).
Спикеры показали коллаб-кейс этого года с AR-экскурсией для Волгоградского музея, где также задействовали волюметрическую съемку. Кроссплатформенное AR-приложение с экскурсией подходит и для Android-, и для iOS-устройств, что позволяет посетителям получить интерактивный опыт и информацию в комфортном режиме и персонализированной последовательности. Это возможно благодаря системе Naviar SDK, которая определяет положение пользователя и направление камеры смартфона.
7. iVFX
В завершение эксперты рассказали о функционале и наборе AI-инструментов для обработки видео, автоматической анимации персонажей и создания окружения — iVFX.
Технология iVFX оптимизирует создание и интеграцию цифровых аватаров (инфлюэнсеров, селебрити и т. п.) в реальную съемку без ручной анимации. Рекомендуется к использованию в ситуациях, когда нужно сделать превью, интегрировать цифрового актора, снять анимационный фильм и быстро посмотреть результат.
«Здесь нет ничего ручного, кроме монтажа. Плюс ко всему мы передадим вам мокапы, 3D-модели, маски, которые вы при желании сможете в дальнейшем доработать в любом удобном 3D-редакторе».
Спикеры обратили внимание слушателей на то, что представленные технологии и кейсы — внутренние отечественные разработки, произведенные или усовершенствованные командами экспертов и партнерами самостоятельно.
Авторские технологии Event Lab СберМаркетинга, Sber AR/VR Lab и Big Black Studio позволяют командам реализовывать задачи любого уровня сложности и уникальности.
По всем вопросам пишите на почту [email protected]. А также подписывайтесь на телеграм-канал, где мы рассказываем о новинках Metaverse, AR/VR/XR, Digital Influencers, i-Com и других актуальных технологиях в сфере.