ИИ-танец по фото: загружаем портрет и референс движения в Kling Motion Control 3.0, переносим танец на человека и создаём ролик через нейросеть.
Ещё недавно, чтобы записать эффектный танцевальный ролик, приходилось учить движения, искать подходящее место и переснимать каждый неудачный дубль. Теперь достаточно одной фотографии и короткого видео с хореографией: нейросеть переносит движения на человека и превращает статичный портрет в танцующее фото.
Я решил проверить, как сделать танец из фото через Pauk AI. Для этого загрузил изображение человека, добавил референс с нужными движениями и выбрал Kling Motion Control 3.0. Через несколько шагов фотография превратилась в короткое видео, где персонаж повторяет танец, сохраняя лицо, одежду и общий образ.
ИИ-танец по фото — это видео, в котором человек с исходного изображения повторяет движения из другого ролика. Нейросеть анализирует положение корпуса, рук, ног и головы, а затем переносит эту хореографию на персонажа.
Схема выглядит так:
Фотография человека → видео с движениями → перенос хореографии → готовый танцевальный ролик.
В результате можно создать видео с танцем, даже если человек никогда не исполнял выбранную хореографию перед камерой.
Это отличается от обычного оживления портрета. В стандартной анимации человек может улыбнуться, повернуть голову или сделать несколько шагов. Здесь же модель получает отдельный референс движения и старается воспроизвести его в новом кадре.
Чтобы нейросеть заставила человека танцевать, потребуются два материала:
Фотография определяет внешность, одежду и фон. Танцевальное видео используется как референс для движения.
Лучше выбирать короткий ролик, где один человек полностью находится в кадре. Если исполнитель постоянно исчезает за границей изображения, резко вращается или закрывает тело руками, нейросети будет сложнее правильно перенести движения на фото.
Для генерации лучше подходит изображение в полный рост. На нём должны быть хорошо видны лицо, корпус, руки и ноги.
Желательно использовать снимок, где:
Портрет крупным планом подходит для мимики и поворотов головы, но для полноценного танца лучше загрузить фотографию по колено или в полный рост.
Используйте собственное изображение или фотографию человека, который согласен на такую обработку и публикацию результата.
Качество референса напрямую влияет на результат. Для первого эксперимента лучше взять простую хореографию без прыжков, падений и сложной работы с партнёром.
Подойдёт видео, где танцор:
Для короткого клипа достаточно нескольких секунд. Чем сложнее танец, тем выше вероятность, что изменятся руки, ноги, одежда или пропорции персонажа.
Лучший первый сценарий — движение корпусом, несколько шагов, поворот и простой жест руками.
Для переноса движений я использовал Kling Motion Control 3.0 через Pauk AI.
Pauk AI доступен в Telegram, VK и MaX.
В главном меню нужно открыть раздел генерации видео. Здесь доступны модели для оживления изображений и переноса движений.
Для задачи «перенести движения на фото» выбирается Kling Motion Control 3.0. Модель использует фотографию персонажа и отдельный видеореференс с хореографией.
Добавьте изображение человека, которого нужно оживить. Лучше использовать вертикальный кадр в полный рост с простым фоном.
Перед генерацией проверьте, что лицо хорошо видно, а руки и ноги полностью попадают в кадр.
Загрузите короткий ролик с движениями. Танцор в референсе должен быть хорошо различим и находиться примерно в том же ракурсе, что и человек на фотографии.
Если исходный персонаж стоит лицом к камере, лучше выбрать танец, снятый спереди. Сильное различие ракурсов может привести к неестественным поворотам тела.
Для VK Клипов, Shorts и мессенджеров подойдёт формат 9:16. Горизонтальный вариант 16:9 можно выбрать для сайта или видеоплатформы.
При публикации вертикального ролика персонажа лучше располагать ближе к центру, чтобы движения рук не выходили за края.
Промпт помогает сохранить внешность и уточнить характер движения. Основную хореографию модель получает из видеореференса, поэтому запрос не нужно перегружать подробным описанием каждого шага.
Готовый промпт:
Перенеси движения из загруженного танцевального видео на человека с фотографии. Персонаж точно повторяет движения корпуса, рук, ног и головы из референса. Движения плавные, ритмичные и естественные. Полностью сохрани лицо, возраст, причёску, одежду, телосложение и пропорции человека. Не меняй фон и детали образа. В кадре остаётся один человек с двумя руками и двумя ногами. Без дополнительных конечностей, резких деформаций, смены одежды и искажения лица. Камера неподвижна, персонаж полностью остаётся в кадре.
Нажмите кнопку «Отправить» и дождитесь готового видео. Затем проверьте, сохранилось ли лицо, совпадают ли движения с референсом и не изменились ли одежда или фон.
Так Pauk AI работает как генератор танцевального видео: фотография задаёт персонажа, а референс — его хореографию.
Для первого ролика лучше выбирать простой сценарий. Например, персонаж делает несколько движений руками, переносит вес с одной ноги на другую и поворачивается к камере.
Персонаж повторяет энергичный короткий танец из видеореференса. Движения чёткие, ритмичные и плавные. Лицо и одежда остаются без изменений, камера неподвижна, вертикальный формат 9:16.
Перенеси плавные движения из референса на человека с фотографии. Персонаж медленно двигает руками, поворачивает корпус и делает несколько спокойных шагов. Естественная пластика, мягкое движение одежды, стабильное лицо.
Человек повторяет лёгкий праздничный танец, улыбается и смотрит в камеру. Движения рук и ног соответствуют референсу. Сохрани внешность, одежду и фон без изменений.
Такие запросы помогают создать трендовый танец нейросетью, не перегружая модель лишними событиями.
Даже хороший референс не всегда переносится идеально с первого раза. Основная причина — слишком большая разница между позой человека на фото и начальной позой танцора.
Добавьте в запрос:
Сохрани точную форму глаз, носа, губ, овал лица, возраст и выражение человека.
Также лучше выбрать танец без резких поворотов головы и вращений спиной к камере.
Используйте фотографию в полный рост и добавьте:
В кадре один человек с двумя руками, двумя ногами и правильной анатомией. Не добавляй дополнительные конечности.
Уточните:
Одежда остаётся такой же, как на исходной фотографии. Не меняй цвет, фасон, ткань и детали.
Сложные длинные платья, широкие рукава и многослойная одежда могут сильнее деформироваться при активном танце.
Выбирайте референс, где танцор не двигается слишком далеко в стороны. Также можно указать:
Персонаж на протяжении всего видео полностью остаётся в центре кадра.
Лучше сократить исходный ролик и выбрать менее сложный фрагмент. Простая связка часто выглядит убедительнее длинной хореографии с прыжками и вращениями.
Для вертикальных площадок лучше использовать формат 9:16 и короткую продолжительность. Танец должен начинаться почти сразу: долгий неподвижный первый кадр снижает динамику видео.
Музыку можно добавить после генерации в редакторе VK Клипов или другой площадки. Так проще попасть движениями в нужный фрагмент трека.
Первый кадр или отдельную фотографию персонажа можно использовать как обложку. На ней стоит оставить крупное лицо и короткий заголовок, например:
Сделал танец из одной фотографии
Загрузите фотографию человека и видео с хореографией в Kling Motion Control 3.0 через Pauk AI. Нейросеть перенесёт движения из референса на персонажа.
Да. Модель анализирует движения танцора в референсном видео и переносит их на человека с фотографии. Лучше всего работают короткие ролики с одним персонажем и понятной хореографией.
Танцующее фото — это статичное изображение, превращённое в видео с движением тела, рук, ног и головы. Для сложного танца обычно используется отдельный видеореференс.
В Pauk AI для переноса движений можно использовать Kling Motion Control 3.0. Она работает с фотографией персонажа и видео, которое задаёт хореографию.
Да. Такой снимок подходит лучше всего, поскольку нейросеть видит положение корпуса, рук и ног. Желательно, чтобы человек полностью помещался в кадре.
Да. Пользователь загружает два референса, выбирает формат и запускает генерацию. Готовый ролик можно дополнить музыкой уже перед публикацией.
Это может происходить из-за резких движений головы, низкого качества фотографии или сложного ракурса. Помогают чёткий исходник, короткий танец и отдельный запрет изменять лицо.
Чтобы сделать танец из фото, не нужно учить хореографию или записывать десятки дублей. Достаточно загрузить фотографию человека и видеореференс в Kling Motion Control 3.0 через Pauk AI.
Рабочая схема:
Фото человека → видео с танцем → перенос движений → готовый ИИ-ролик.
Так можно получить танцующее фото, создать видео с танцем для VK Клипов или повторить популярную хореографию. Самый стабильный результат дают фотография в полный рост, короткий референс и простые движения без резких поворотов.