Художники создали музыкальный клип в духе «Акиры» на Unreal Engine 5 — почти все кадры для него нарисовала нейросеть

А девушку из клипа сгенерировали в редакторе MetaHuman Creator.

Художники создали музыкальный клип в духе «Акиры» на Unreal Engine 5 — почти все кадры для него нарисовала нейросеть

Клип на композицию «Coherence» создала группа Sagans, которая состоит из музыкантов, художников, графических дизайнеров и исследователей. В качестве основной среды разработки команда использовала движок Unreal Engine 5. В нём художники реализовали динамическое глобального освещение для сцен с использованием технологии Lumen и частицы, включая дождь, с применением системы Niagara.

Коллектив создал героиню для клипа в редакторе персонажей MetaHuman Creator. Он дал возможность анимировать девушку, не используя при этом костюм захвата движений или другие инструменты.

Большинство кадров для видео художники сгенерировали при помощи нейросети Disco Diffusion 5. После изображения преобразовали в видео с использованием другого алгоритма машинного обучения. Также художники применяли третью нейросеть для обработки кадров в стиле японского анимационного фильма «Акира».

В Sagans остались под впечатлением от возможностей Unreal Engine 5 и алгоритмов машинного обучения. По словам участников команды, на создание клипа у них ушло всего восемь недель, причём над роликом работало только три художника. Группа получила положительные отзывы о своей первой работе с использованием UE5 и нейросетей. Команда планирует продолжать применять эти инструменты и для следующих клипов.

Клип

Некоторые кадры из клипа

Художники создали музыкальный клип в духе «Акиры» на Unreal Engine 5 — почти все кадры для него нарисовала нейросеть
Художники создали музыкальный клип в духе «Акиры» на Unreal Engine 5 — почти все кадры для него нарисовала нейросеть
Художники создали музыкальный клип в духе «Акиры» на Unreal Engine 5 — почти все кадры для него нарисовала нейросеть
Художники создали музыкальный клип в духе «Акиры» на Unreal Engine 5 — почти все кадры для него нарисовала нейросеть

Ролик о создании клипа

Сообщество развивается при поддержке «Яндекс.Музыки»

115115
46 комментариев

А в клипе есть отсылка на постер акиры?

35
Ответить

Выглядит как криповый психоделический трип. Не то что я знаю как он выглядит, но именно таким я его себе представляю.

28
Ответить

Это что получается... Художники идут работать на завод ?!

5
Ответить

Неа. Нейросеть может нарисовать что-то на основе "увиденного", но не может нарисовать того, что никогда не "видела". По этой же причине, нейросети никогда не заменят исследователей. Да и вообще многие просто не знают, как примитивны (в каком-то смысле) на самом деле нейросети.

11
Ответить

Нейросети даже не научились все ещё нормально в анимации кадры дорисовывать без артефактов, как вот это месиво тоже как финальный результат никуда не годится. Максимум заменит рутину всякую, что хорошо

1
Ответить