Как создавать в Seedance 2.0 консистентные ИИ-видео с реальными людьми: гайд от видеопродакшна
Что может быть сложнее, чем сделать ИИ-ролик?
- Сделать ИИ-ролик с реальными людьми.
Что еще сложнее?
- Сделать так, чтобы в кадре одновременно находились 3–6 узнаваемых персонажей.
А если хочется поднять сложность до максимума, остается добавить сложную физику, разрушения, меняющееся пространство и дедлайн всего в одну неделю.
Именно такой проект мы делали для футбольного клуба «Акрон» к его восьмилетию. Ниже - подробный разбор пайплайна, инструментов (Seedance 2.0 + Nana Banana 2) и решений, которые помогли довести его до финала в короткие сроки.
Идея: показать день рождения, который невозможно снять в реальности
На нас было все: от идеи до финального ролика. Ниже подробнее о самой задумке.
С самого начала было понятно: если мы делаем ИИ-ролик, значит, можем позволить себе то, что в обычном продакшне либо слишком дорого, либо слишком сложно, либо вообще невозможно. Поэтому креатив строился вокруг празднования дня рождения команды, в реалистичной, но в утрированной и местами абсурдной форме.
Нам хотелось показать футболистов в неожиданных ситуациях, наполнить ролик клубными отсылками и собрать историю так, чтобы это был не просто ролик, а визуальный аттракцион.
Пайплайн
Создание референсов👇
В ролике было слишком много переменных: от сцены к сцене менялось и разрушалось пространство, менялись образы футболистов. При этом герои, объекты и ключевые детали должны были оставаться одинаковыми на протяжении всей истории.
Поэтому мы не пытались сразу генерировать готовые кадры целиком, а сначала собрали основу из референсов.
По сути, мы действовали как на реальной съемке. Сначала провели освоение площадки: создали локацию, определили ключевые точки, в которых будет происходить действие, и зафиксировали важные детали пространства. Затем выполнили работу, близкую к работе художника по костюму и реквизиту: собрали образы игроков, продумали одежду, атрибутику и все элементы, которые должны были повторяться от сцены к сцене.
Для этого мы использовали Nano Banana 2 в сервисе Weave, где удобно параллельно запускать генерацию изображений и затем дорабатывать результ
Массовая генерация в Seedance 2.0👇
Референсы создавались для того, чтобы затем загрузить их в Seedance 2.0. К ним мы прописывали посекундный промпт с происходящим в кадре. После этого запускали сразу большое количество генераций, редактируя промпт в процессе, если что-то генерировалось некорректно.
На каждую сцену ролика было запущено в среднем 30 (15-секундных) генераций, а на все 6 сцен это уже - 180. Такой подход не давал нам один идеальный результат, но давал большой объем материала, с которым далее можно работать.
В генерациях где-то был не тот ракурс, где-то неправильное положение героя, где-то не сработал нужный эффект. Но так как материала много, мы буквально брали по 2-3 сек из самых удачных генераций и дальше собирали из них монтаж.
Кстати, чем больше референсов вы приложите, тем вероятнее сможете также использовать смежные генерации - прикрепляйте не только внешность людей, но локацию, футбольный мяч, конкретные бутсы и тд. Это нужно для консистентности между разными генерациями.
Доработка лиц👇
В ролике, как вы видели, участвуют реальные футболисты. И главная задача, которая стояла перед нами, заключалась в том, чтобы все герои выглядели так, как они выглядят в жизни. Т.е не в формате - похоже на референсную фотку, берем. А мы прям сверялись с людьми, кто видел футболистов вживую.
Конечно, Seedance не всегда справлялся идеально, особенно если в кадре были необычные ракурсы и повороты головы. Как мы это исправляли?
Мы делали стоп-кадры сцен, в которых люди выглядели некорректно. Затем в Nano Banana 2 апскейлили изображение и точечно заменяли лица и рост игроков, используя в качестве референсов разные фотографии игроков.
Переанимация👇
После этого исправленное изображение загружалось в Kling или Seedance, где по промпту анимировалось заново, повторяя действие, которое до этого уже было в сцене.
Сборка и монтаж👇
В проекте на технической части участвовали шесть человек. Один человек отвечал за общий темплейт с фотографиями и анимацией пролета между сценами. Еще пять человек занимались созданием сцен: у каждого была своя сцена, которую он собирал и доводил до идеала.
Итоговый пайплайн для одной сцены👇
Промпт + референсы → Seedance 2.0 массовая генерация → отбор лучших вариантов → стоп-кадры отдельных кадров → Nano Banana замена лиц → Seedance 2.0 или Kling для переанимации → отбор финального результата → финальный монтаж сцены
Проблемы и их решения
1. Seedance 2.0 модерация лиц и ее обход
С Seedance мы работали через Dreamina, и сервис регулярно не пропускал референсы с лицами известных людей. При этом у нас было полное согласование от клуба на использование образов игроков, но внутренняя модерация платформы, конечно, не учитывает такой контекст.
Решение, которое мы нашли в процессе - метод коллажа. Лицо разбивалось на части и распределялось по референсному изображению так, чтобы модерация не считывала его как цельное лицо. При этом Seedance в генерации хорошо собирала фрагменты обратно в узнаваемого человека.
2. Замена Dreamina
Ближе к дедлайну Dreamina просто перестала принимать наши запросы: ошибка появлялась сразу при нажатиии “генерировать” на нескольких аккаунтах подряд, и видео не уходили в анимацию.
Времени разбираться не было, поэтому мы буквально на ходу пересели на Runway и чИИл. Там меньше ограничений по лицам и анимации не уходили в блок.
Но были и минусы. При большом количестве людей и деталей в кадре Runway мог путать, кто где стоит и кто что делает. Плюс генерация занимала 15–20 минут, а в очереди одновременно могли стоять только два ролика.
3. Как правильно генерировать фото сложной сцены
Очень важный нюанс, работа с изображением.
Например, нужно сгенерировать сцену помещения, в которой одновременно есть разбитая пиньята, упавшая на стол люстра, разрушенный стол, битое стекло и разбитый торт. Если попытаться засунуть все это в один промпт, что-то обязательно пойдет не так: торт окажется не там, стол будет разрушен неправильно и так далее.
Что делать в таком случае?
Главный прием здесь - работа по кусочкам, заплатками. Если в сцене все хорошо, а торт не тот, мы не перегенерировали фото целиком. Мы вырезали только торт, генерировали именно его, а затем объединяли эту заплатку с общим кадром в After Effects.
Та же логика работала с пиньятой, столом и любым другим предметом. Это критически важно, потому что перегенерация всей сцены всегда лотерея: неизвестно, получится ли сохранить то же качество и нужный результат. А заплатка позволяет сохранить и качество, и все важные детали.
Что получилось в итоге
В результате мы сдали ролик в срок, клиент доволен, мы тоже.
И, пожалуй, главное, что показал этот кейс: сложный ИИ-ролик - это все еще не про волшебную кнопку и идеальный результат с первой генерации, даже если ты работаешь с таким мощным инструментом, как Seedance.
Это про креатив, режиссуру, систему, умение держать в голове десятки переменных одновременно и буквально собирать результат по кусочкам, кадр за кадром.
Когда в ролике реальные люди, много персонажей в одном кадре, сложная физика, разрушающееся пространство и всего неделя на производство, нейросети не упрощают задачу до магии. Они просто дают возможность сделать то, что раньше было бы почти невозможно.
Если вам нужен ИИ-ролик под ключ, пишите в Короче, Медиа 🖤