Дневник стартапа #19: Генерация видео с Seedance 2.0

Привет, это Настя — руководитель отдела контента Аиджитал, ИИ-сервиса для решения задач бизнеса и маркетинга. В новом дайджесте поделимся долгожданным релизом пространства «Канвас» и связкой инструментов для генерации рекламных роликов со звуком и консистентными персонажами.

В прошлом выпуске мы рассказывали вам о кризисе роста проекта. С тех пор мы еще глубже ушли в партнерства и запуски новых white-label на основе нашей платформы. Ключевым бустом здесь стало то, как у нас в команде устроена разработка новых фич: некоторая часть из них рождается из-под пера продакта или директора по маркетингу, а доработка, интеграция и сложные архитектурные решения — это дело рук команды разработчиков.

Одним из таких решений стал канвас: полноценная среда для работы с визуалом со своей логикой, шаблонами и отдельным движком генерации, над которой команда работала не один месяц. О ней и расскажу в первую очередь, а заодно покажу связку с другими агентами, которых самое время взять на вооружение для решения рабочих задачек.

Канвас

У нас появилось, пожалуй, самое долгожданное пространство в продукте. «Надеюсь, СКОРО выгрузим канвас» то и дело мелькало в наших переписках еще прошлым летом, и вот наконец он в Beta. Давайте разберем на котиках, как он работает, заодно покажу вам новую подружку Мисти ;)

По своей сути «Канвас» — это холст, как, например, в Фигме или Миро, где можно собрать множество элементов в цельную единицу, только в нашем правят бал нейронки. Достаточно просто набросать элементы, стрелками, обводкой и текстом показать, как они взаимодействуют, и нажать волшебную кнопку. Не шучу, у нас в Канвасе особая атмосфера с «Магическими генерациями».

Канвас умеет:

1. Работать с несколькими изображениями одновременно, для этого загружаете несколько рефов, стрелками указываете, что с чем соединить.
2. Менять изображение по текстовой инструкции — собираете в одном фрейме картинку и текстовое объяснение.

Исходник вверху, текстовая задача внизу, а результат справа. Подходит для разных серьезностей (и несерьезностей)

1. Общаться в чате с пользователем — любое изображение с холста перебрасываете в диалог и просите нейросеть, например, адаптировать визуал под другой формат.

Ключевое отличие от простого промптинга в том, что вы буквально пальцем показываете нейронке, что куда поставить и как поправить. Шанс быть неправильно понятым стремится к нулю.

Сейчас для канваса доступно два шаблона:

1. Один для нейрофотосессий (как брендовых, так и личных). Здесь вы увидите, как работать с текстовыми инструкциями, буквально выставлять свет, прорабатывать ракурсы и генерировать несколько разных снимков под своего персонажа или товар.

Шаблон «Фотосессия»

1. Второй — для смены образов персонажей и переноса в заданный сеттинг, а также создания раскадровок. В нем вы увидите механику этого процесса и сможете заменить персонажа и прочие элементы под себя.

С помощью него мы переодели нашего кота Мисти, интегрировали его в сцену, разработали ракурсы, в один из которых добавили ему подружку, и создали раскадровку с нужных углов под мультик. Далее как раз разберем работу с раскадровками и Seedance, а пока, посмотрите-ка, как Мистику идет костюм и розовый кабриолет, ах)

Шаблон «Контекст, стили, ракурсы»

Ракурсы

Еще один агент, о котором мы не рассказывали прежде — это «Ракурсы». В нем вы добавляете свое изображение и крутите сферу в поисках идеального угла обзора. Это один из самых полезных и удобных инструментов для раскадровки под дальнейшую генерацию видео. Идеально сохраняет консистентность персонажей и сеттинга и может сам предложить 5 лучших ракурсов.

Конечно, ракурсы можно нагенерить и внутри канваса. Но что мне особенно нравится здесь — в отдельном агенте — это именно интерактивная 3D-сфера, которую можно крутить мышкой, чтобы показать модельке, с какого ракурса нужно сделать кадр. Это удобно для разработки карточек товаров, и вдвойне удобно для последующей генерации видео.

С помощью сферы вы, почти как оператор, управлять движением камеры. Без предварительной раскадровки модель для генерации видео сама выберет углы, и они могут вам не понравиться :) Поэтому лучше подстраховаться и заранее зафиксировать нужные точки съемки, а после загрузить их как раференсы для видеогенерации.

Добавили полученные кадры в Seedance в качестве референсов

Seedance 2.0

Помимо графики, мы обновили и видеомодели. Теперь у нас есть доступ к Seedance 2.0 от ByteDance с потрясающим мультиреференсным режимом и возможностью генерировать видео сразу с качественным звуком. Модель принимает одновременно до 9 изображений, 3 видео и 3 аудиодорожки. Прямо в промпте вы можете обратиться к референсу и указать, что он должен делать в кадре. В качестве референсов рекомендую добавлять портретные фото персонажей, а также раскадровки, о которых мы говорили выше.

Раскадровки могут быть как единым изображением, так и отдельными иллюстрациями. Здесь 4 кадра на одном изображении

Но модель отлично справляется с генерациями и по подробному описанию, умеет автоматически выстраивать логичную последовательность кадров в рамках одного ролика. Смотрите, какое драматичное кино получилось. В качестве референса были только фото персонажей, остальное — магия промпта. В пресете вы можете повторить эту генерацию со своими персонажами.

В этой мини-драме видно, как ИИ может добавить саундтрек к вашему видео — не исходник, а оригинальный кавер. Если же поет персонаж видео, модель отлично прорабатывает липсинк:

В обоих примерах мы прописывали конкретные песни (Harry Styles – Sign of the Times и Cyndi Lauper — Girls Just Want To Have Fun, которые ИИ «перепел» по-своему, и в сочетании с кадрами это в обоих случаях получилось органично.

Качество изображения, хронометраж, пропорции и даже скорость генерации легко настроить промптингом или кнопками. Отдельно скажу про звук, он генерируется нативно, не накладывается постфактум. У Seedance особенно качественное интонирование речи и подбор голосов. Чтобы получить такое интонирование в ElevenLabs, надо прямо постараться (и не факт, что выйдет отлично). Один только минус — русский язык пока слабо поддается качественной генерации, особенно это касается объемных речей. С короткими фразами справляется, а вот монологи выводит в псевдославянский.

Но лайфхак мы для вас нашли. Заходите с вашим промптом в Чат с ИИ, просите переписать промпт на английском, а реплики транслитерацией (латинскими буквами и на русском), добавляете уточнение, что персонаж должен говорить на идеальном русском языке. Старайтесь укорачивать реплики и использовать устойчивые речевые сочетания, например, не «рисуй идеи», а «попробуй идеи», точнее probui idei не «я тону в этих задачах», а «как много задач» (kak mnogo zadach). Так ИИ с бОльшей вероятностью произнесет их верно. Уж сколько псевдословянских слов мы выучили за время тестов, можно было целый новояз собрать.  

Ну и важный момент — если хотите видео со звуком, не забудьте включить тумблер «Добавить звук» перед генерацией (кто забыл, тот потом потратил кредиты на перегенерацию).

Помимо всех этих прелестей, у модели очень лояльные лимиты к контенту. Это упрощает работу при генерации видео для карточек товара, например, брендам нижнего белья и купальников. Лайфхак: если работаете с реалистичными лицами и столкнулись с ограничениями — попробуйте заранее подготовить мультиракурсный референс-лист персонажа (4 позиции в одном изображении: фронт, профиль, ¾, полный рост). Это повышает шанс прохождения модерации.

Помощник для поиска агентов

История, к которой мы очень давно шли, и искренне мечтали сделать функциональный поиск по агентам (ex-навыки, если вы с нами давно и тоже их так называете). У нас их много, и это всегда было для нас и даром, и проклятьем. Поэтому к вопросу навигации мы подходили тысячу раз, но реализация казалась неподъёмной, а старый интерфейс неповоротливым. Теперь всё все гораздо проще.

На главной дашборда есть окошко для вашего запроса на генерацию. Вводите, что хотите получить — Аиджитал даёт вам пошаговый план действий с конкретными агентами и перекидывает запрос из поиска в первый шаг (да ещё и сам его детально прорабатывает для модельки!).

Большая рекомендация попробовать, потому что это тот самый «ассистент по Аиджитал», что у нас запрашивали едва ли не с самого начала работы проекта. Но на мои восхищения фичей сказали, что это только начало, и дали потестировать PRO-режим, теперь с нетерпением ждем его. Будет примерно так:

Задания

Закончим увлекательной штукой, которую я в рабочих чатах упустила, а увидев в интерфейсе, с удовольствием потестила. Надеюсь, вы тоже. Мы завели свою первую игровую механику, которая помогает пользователям проще знакомиться с сервисом и немножко лучше узнавать самого себя.

В первом сете заданий ИИ рассказывает о ваших точках роста в финансах и карьере, представляет вас кадром из фильма и помогает создать с нуля собственный бренд. Не надо копировать никакие промпты — по клику на задание интерфейс перебрасывает в нужного агента с уже заготовленным запросом. Выходит, что за болтовню с нейронкой о своих целях и рутине вы получаете дополнительные кредиты на баланс и кинематографичные кадры.

На сегодня все, публикуйте свои генерации в «Галерее» и делитесь с нами в комментариях, что нравится, а чего в сервисе вам пока не хватает. Наш почтовый адрес по-прежнему hello@aigital.co, мы с Мистиком и командой все читаем.