Российская лаборатория искусственного интеллекта (ИИ) Futai представила короткометражный фильм AILOVE, полностью созданный с помощью нейросетей. Авторы использовали в его разработке доступные ИИ-инструменты, в частности, ChatGPT, Notion AI, Midjourney, Stable Diffusion.
В двухминутном ролике повествуется «о любви в эпоху высоких технологий». Автором идеи и режиссёром проекта выступил сооснователь и креативный директор Futai Михаил Гульков. Он рассказал Sostav, что на создание короткометражки его вдохновило творчество выдающегося советского режиссёра Андрея Тарковского.
Работа была выполнена в рамках курса Neurocamp JCenters. Процесс создания короткометражки состоял из нескольких этапов.
Первый этап — работа с языковыми моделями. Для написания сценария использовались ChatGPT и Notion AI. «На данный момент меня сильно волнуют экзистенциальные вопросы, которые, на мой взгляд, сейчас стоят довольно остро. И в контексте этой идеи было создано несколько нейроличностей, которые генерировали историю любви искусственного интеллекта и человека. Одна нейронная личность создавала, вторая — критиковала, третья — дорабатывала сценарий и так далее. В какой-то момент получились нужные образы и понятная история», — пояснил Гульков.
Второй этап — это раскадровка и lookdev [создание внешнего вида сцены и объектов в ней с учётом сценария и видения режиссёра — прим. Sostav]. Для базовых шотов на основе сценария использовалась Midjourney.
Третий этап — генерация видео. «В работе мы использовали три нейронные сети для решения различных задач. Где-то мы применяли точечную генерацию, где-то отдавали целые кадры и сцены на полную генерацию. Это очень творческий и интересный процесс, который вы не всегда можете контролировать. Поэтому финальный результат каждой генерации почти непредсказуем», — подчеркнул креативный директор Futai.
Четвёртый этап — генерация голоса и монтаж. «Голос на самом деле мы выбирали не долго, а если быть точным, то выбрали первый попавшийся, который подошёл по стилистике», — указал Гульков. По его словам, «вызовом» стала генерация текста через нейросеть. На это пришлось потратить много времени, «чтобы собрать всё в единое повествование, выбросив всё лишнее и оставив только суть».
Нейросеть Stable Diffusion использовалась для паралакса и анимации некоторых элементов, Silero — для озвучания закадрового голоса и Runway GEN-2 — для некоторых видео кадров.
В Futai отметили, что проект — это эксперимент, изучение нейросетей и попытка создать визуальную зарисовку, «не прибегая к графике и съёмкам, а используя ИИ как основной инструмент».
Состав творческой группы:
Лаборатория искусственного интеллекта Futai:
Автор идеи и режиссёр: Гульков Михаил (kyoukobu)
Продюссер: Сергей Иванов
Нейрохудожники:
Максим Макаров
Даниил Барбашов
Илья Линев
Музыка: Ital Tek — Blood Rain