Как нейросети помогают создавать контент: новые инструменты и полезные советы

2024-04-25 11:16:02 Время чтения 8 мин 194

Нейросети сегодня стали необходимым для создания контента инструментом. В подборке от СберМаркетинга — несколько новых нейросетей и обновлений популярных GenAI-сервисов, которые пригодятся для генерации изображений, роликов, 3D-моделей и музыки. Итак, что можно сделать с помощью новых нейросетей и дополнительных инструментов?

Генерировать изображения

Новая функция Character Reference в Midjourney позволяет создать своего персонажа, а затем использовать его на каждой картинке в серии сгенерированных изображений. Также Midjourney выпустила функцию Style Random — она позволяет «исследовать скрытое пространство визуальных стилей». По сути, направляет вашу подсказку на новые и случайные стили, из которых вы можете выбрать самые интересные. Чтобы применить новую функцию. просто добавьте «--sref random» в конец промпта.

Изображение, сгенерированное с помощью midjourney

Intel Labs представила сервис NeuroPrompts, который самостоятельно расширяет примитивный промпт для Stable Diffusion в продвинутый, чтобы получить более детализированную картинку. 

Один и тот же персонаж в разных генерациях Midjourney. Источник: sprinkleofai.com


Новая генеративная нейросеть от Huawei Pixart-Σ генерирует изображения сразу в 4K. Уже можно протестировать предыдущую версию Pixart.

Картинка, сгенерированная Pixart-Σ, источник: Telegram

Генерировать видео

В нейросети для создания и редактирования видео Pika появилась функция липсинка: сгенерированные персонажи научились открывать рот синхронно с произносимым текстом. В созданные с помощью сервиса ролики можно добавить синтетический голос с помощью модели ElevenLabs или загрузить свой аудиофайл. 

Сгенерированный персонаж из проморолика Pika. Источник: YouTube

Alibaba разработала генератор говорящих аватаров EMO. Он анимирует фотографию человека, а затем добавляет аудиодорожку с речью — на выходе получается говорящая голова с реалистичной мимикой, которая может произнести любой текст.

Генератор говорящих аватаров EMO. Источник: humanaigc.github.io

Генерировать музыку

Adobe разработал прототип музыкального AI-редактора Project Music GenAI Control. Он по промпту генерирует музыкальные треки, а затем позволяет отредактировать их в том же интерфейсе. Сервис может написать трек по мелодии-референсу или расширить исходный фрагмент до полноценного трека. Дата релиза пока неизвестна.

Анимировать сгенерированные изображения

Tencent разработал фреймворк Follow Your Click для точечной анимации сгенерированных изображений. Пользователю необходимо выделить нужную область мышкой, написать промпт и получить анимированную картинку. Но инструмент не может сгенерировать комплексную анимацию и ограничен простыми движениями: взмахи крыльев, покачивания головой и т. п.

У модели DynamiCrafter от того же Tencent в последнем обновлении появилась функция Generative Frame Interpolation, которая позволяет «достроить» анимацию из двух исходных кадров — первого и последнего. Также она может создавать зацикленные видео.

Анимированные изображения. Источник: follow-your-click.github.io

Генерировать 3D

Модель для генерации 3D TripoSR позволяет по одному изображению объекта менее чем за секунду сгенерировать его 3D-версию.

Новая нейросеть Stable Video 3D также создает 3D-объекты по одному изображению. Stable Video 3D работает на основе недавно выпущенной Stable Video Diffusion — модели для генерации видео. 

Проморолик Stable Video 3D от Stability.ai. Источник: stability.ai

Leonardo представил функцию Style Reference — теперь можно придать своим творениям эстетику любого референсного изображения. Новая функция соблюдает точность при передаче стиля, что делает инструмент чрезвычайно гибким.

Функция Style Reference. Источник: leonardo.ai
София Шаламкова
менеджер продуктов СберМаркетинга 
Мы находимся на пороге новой эры креативного контента, где AI-технологии играют огромную роль. Вероятно, со временем ни один специалист, который создает контент, не сможет обойтись в своей работе без инструментов на основе искусственного интеллекта. 

СберМаркетинг не остается в стороне и также внедряет AI в процессы компании. Уже сейчас в СберМаркетинге есть несколько собственных разработок на основе искусственного интеллекта, которые упрощают и ускоряют работу сотрудников. Например, благодаря нашему внутреннему продукту AI-ассистент мы стали создавать рекламные тексты в 6 раз быстрее — сейчас за 60 минут мы готовим 6–8 рабочих лайнов.