Учёные из Калифорнии научили нейросети переносить танцевальные движения с одного видео на другое
Технологию уже называют DeepFakes для танцев.
Четверо учёных из Калифорнийского университета в Беркли разработали программу, которая позволяет переносить движения одного человека на модель другого.
Система работает в несколько шагов. За основу берутся два видео с танцорами, один из которых выступает объектом, а другой — эталоном. На основе их движений и с учётом размеров тел создаётся два скелета.
Затем перемещения «эталонного» скелета переносят на скелет объекта, после чего создаётся видео. Судя по ролику, чем больше похожи движения двух объектов, тем точнее будет финальный результат. Чтобы получить правдоподобный ролик понадобится большой объём информации: около 20 минут видео с частотой 120 кадров в секунду.
Отдельная подпрограмма отвечает за плавность движений, а другая нейросеть следит за положением головы и поворотами лица объекта.
Пока система работает с некоторыми ограничениями. Например, нейросеть может точно считать движения только человека, одетого в облегающую одежду. Также программа пока плохо справляется со сложными многосоставными движениями.
Подобная технология может найти применение в кинематографе, например, при создании спецэффектов и работе с каскадёрами. Также система открывает новые перспективы для развития технологии захвата движений.
Классика
без всяких нейросетей и рейтрейсинга
Идеальная технология, чтобы заменить лет через 10 всех каскадёров высококачественными 3D-модельками актёров. А потом и актёры перестанут быть нужными: студии за деньги будут покупать возможность снять 3D-модельку красивого человека для своего фильма или купят на стоках. И тогда на первый план выйдут специалисты по композингу и VFX, скриньте!
Заменять актеров и каскадеров как бы это банально не звучало, дорого. Так что от них не откажутся еще очень очень долго. А что до актеров, вы променяете актеров........ на актеров? для 3D моделек в фильмах все еще надо записывать микро-движения и мимику. Уберут актеров, придется брать тех же актеров для захвата этого, или специалистов которые смогут в детальную анимацию мимики без захвата, так или иначе это будет дорого и несопоставимо с затратой на это времени. Когда VFX специалисты вдруг решат что их труд копейки не стоит, то тогда да, может и заменят, но не в ближайшем будущем. А еще 3D моделька зрителей не привлечет которые на фильмы идут видя знакомое лицо\имя.
Озвучивать эти модельки всё равно актёрам придётся, а озвучка и игра не то чтобы сильно по стоимости отличались нынче. Да и каскадёрам надо будет уметь именно играть на уровне самих актёров
Данные полной оцифровки актеров будут использовать для съёмки их в новых фильмах без непосредственного участия. Будут цифровые банки с актерской игрой. Будут платить роялти но явно не размера актерской зарплаты
Ты про это?