CONTAMINATION 2

Запилил опенинг для второго сезона несуществующего сериала Contamination. Процесс создания расписан внутри.

Рабочий процесс был приблизительно следующий:

1. Генерировал квадратные картинки в Stable Diffusion (A1111, JuggernautXL). Промты менялись от сцены к сцене, но ключевые моменты всегда оставались. Интересный факт - когда я писал "red moss", то мха было очень мало и он стелился только по земле, зато "crimson moss" работал как надо. Для некоторых сцен использовал Controlnet (canny, depth) и свои собственные скриншоты из The Division, Cyberpunk 2077, а также снимки со спутника в интернетах.

2. Дорабатывал и фиксил полученные картинки в Photoshop. Там же делал outpainting квадратных картинок. Почему не всё изначально генерировал в 16:9? Потому что персонажи лучше получались на квадратах, чем на широких изображениях.

3. Пейзажные и ключевые изображения загружал в ZoeDepth и генерировал 3D-меши на основе изображений. Некоторые картинки приходилось предварительно обрабатывать, накручивая яркость и контраст, чтобы ZoeDepth лучше мог распознавать глубину и корректнее генерить меши.

4. Импортировал 3D-меши в After Effects, ставил камеру, анимировал сцену, добавлял эффекты дыма и частиц в воздухе. В подавляющем большинстве случаев запеченный на сцене свет прокатывал, но в паре сцен пришлось добавить свои источники света. Спасибо разрабам AE за то, что в последней обнове доработали режим работы с 3D, но это всё равно ещё жутко неудобно в сравнении с C4D или Blender. Там же в AE делал моушн для начального титра. Ну и цветокор, куда ж без него.

5. Сцены с портретами персонажей (не все, к слову) заливал в Pika Labs, Runway и SVD. Тут нет четкого процесса, т.к. каждая отдельная картинка в разных нейронках обрабатывалась по-разному. Если изображение А получалось отлично в Pika, то изображение B уже получалось полной помойкой, зато в Runway она удавалась лучше. А вот SVD смог адекватно заанимировать лишь полторы сцены, поэтому пока мой вердикт таков - SVD довольно замороченная, но твои старания не вознаграждаются лучшим результатом. У Runway крутая функция анимирующей кисточки, которой можно выделить отдельные элементы и задать для каждого разную анимацию. Также очень удобно сделана работа с камерой. Но у Runway есть нехорошая особенность - он периодически шакалит цвета, а также в половине случаев некорректно анимирует персонажей. Но самое страшное - ЦЕНЗУРА, её много, она бессмысленная и беспощадная, считала алый мох кишками и расчлененкой. По Pika скажу следующее - персонажей анимирует лучше, чем Runway, но во-первых очень ограниченный функционал, во-вторых жиденькое разрешение итоговых видео, а в-третьих видосы лишь по 3 секунды (против 4-х у RW и 6-8 у SVD). Кароч выбрать что-то одно не получается, поэтому приходится юзать всё сразу.

6. Ну а дальше классика - выбрал трек (взял из саундтрека Мор 2), закинул футажи в Premiere Pro и погнал монтировать под музычку. В конце шлифанул VHS-эффектами, убив сразу двух зайцев: спрятал ватермарки RW и Pika, а также замаскировал шакальное качество футажей из Pika.

В общей сложности, потратил около 5-6 часов.

Такие пироги. Я бы мог сказать, что художники, видеографы и моуш-дизайнеры больше не нужны, но это была бы неправда, потому что с огромным трудом представляю себе условного Заказчика, который сам всё это делал бы и разбирался со всем этим зверинцем нейросетей. Быть может Sora в скором времени значительно сократит пайплайн создания таких видосов, но по факту это просто позволит делать более сложные и динамичные сцены. К тому же не будем забывать, что маркетинговые материалы почти всегда отличаются от финального качества продукта (можете посмотреть маркетинговые видосы тех же Runway и Pika и сравнить с тем, что вы по факту будете получать в 90% случаев).

Опенинг первого сезона можно посмотреть здесь.

Посмотреть ролик в нормальном качестве, а также подписаться и поставить лайк можно на моем канале на youtube.

Бонус: