Оффтоп Влад Бабаев
2 748

Учёные из Калифорнии научили нейросети переносить танцевальные движения с одного видео на другое

Технологию уже называют DeepFakes для танцев.

В закладки

Четверо учёных из Калифорнийского университета в Беркли разработали программу, которая позволяет переносить движения одного человека на модель другого.

Система работает в несколько шагов. За основу берутся два видео с танцорами, один из которых выступает объектом, а другой — эталоном. На основе их движений и с учётом размеров тел создаётся два скелета.

Затем перемещения «эталонного» скелета переносят на скелет объекта, после чего создаётся видео. Судя по ролику, чем больше похожи движения двух объектов, тем точнее будет финальный результат. Чтобы получить правдоподобный ролик понадобится большой объём информации: около 20 минут видео с частотой 120 кадров в секунду.

Отдельная подпрограмма отвечает за плавность движений, а другая нейросеть следит за положением головы и поворотами лица объекта.

Пока система работает с некоторыми ограничениями. Например, нейросеть может точно считать движения только человека, одетого в облегающую одежду. Также программа пока плохо справляется со сложными многосоставными движениями.

Подобная технология может найти применение в кинематографе, например, при создании спецэффектов и работе с каскадёрами. Также система открывает новые перспективы для развития технологии захвата движений.

#технологии

{ "author_name": "Влад Бабаев", "author_type": "editor", "tags": ["\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438"], "comments": 23, "likes": 54, "favorites": 18, "is_advertisement": false, "subsite_label": "flood", "id": 25746, "is_wide": false }
{ "id": 25746, "author_id": 3142, "diff_limit": 1000, "urls": {"diff":"\/comments\/25746\/get","add":"\/comments\/25746\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/25746"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 64955 }

23 комментария 23 комм.

Популярные

По порядку

Написать комментарий...
34

Классика

Ответить
0

без всяких нейросетей и рейтрейсинга

Ответить
16

Идеальная технология, чтобы заменить лет через 10 всех каскадёров высококачественными 3D-модельками актёров. А потом и актёры перестанут быть нужными: студии за деньги будут покупать возможность снять 3D-модельку красивого человека для своего фильма или купят на стоках. И тогда на первый план выйдут специалисты по композингу и VFX, скриньте!

Ответить
4

Заменять актеров и каскадеров как бы это банально не звучало, дорого. Так что от них не откажутся еще очень очень долго. А что до актеров, вы променяете актеров........ на актеров? для 3D моделек в фильмах все еще надо записывать микро-движения и мимику. Уберут актеров, придется брать тех же актеров для захвата этого, или специалистов которые смогут в детальную анимацию мимики без захвата, так или иначе это будет дорого и несопоставимо с затратой на это времени. Когда VFX специалисты вдруг решат что их труд копейки не стоит, то тогда да, может и заменят, но не в ближайшем будущем. А еще 3D моделька зрителей не привлечет которые на фильмы идут видя знакомое лицо\имя.

Ответить
0

Озвучивать эти модельки всё равно актёрам придётся, а озвучка и игра не то чтобы сильно по стоимости отличались нынче. Да и каскадёрам надо будет уметь именно играть на уровне самих актёров

Ответить
0

Данные полной оцифровки актеров будут использовать для съёмки их в новых фильмах без непосредственного участия. Будут цифровые банки с актерской игрой. Будут платить роялти но явно не размера актерской зарплаты

Ответить
9

Впечатляет, но местами криповато.

Ответить
5

Теперь осталось понять как это адаптировать для порно.

Ответить
3

Можно будет создать конструктор порно. На каком-нибудь порнхабе. Просто заходишь, выбираешь локацию, актеров(В связке с технологией, которая меняет лица) и сам себе делаешь порно мечты.

Ответить
5

Так... осталось объединить технологии, и можно будет наконец-то посмотреть "Лебединое озеро" с голой Скарлетт Йохансон.

Ответить
1

С Дженнифер Лоуренс

Ответить
4

После истории с порно роликами, никак не могу перестать читать DeepFukers.

Ответить
3

«Зловещая долина» во всей красе

Ответить
0

Если не заметил - у неё часто руки пропадают ещё.

Ответить
1

Всегда мечтал научиться танцевать

Ответить
0

круто. Студии мокапа можно будет развернуть в любом подвале с хорошим компом и ДСЛРкой, вместо дорогой системы датчиков, огромного ангара и кучей света

Ответить
0

Результат очень похож на ротоскопированную анимацию.

Ответить
0

Правильно. Так как снимается движение не в пространстве а с плоскости

Ответить
0

было бы прекрасно заменить 3д модели персонажей в играх на такую крипоту

Ответить
0

Бедный парень в очках. Его так перекрутило.

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } } ]
Хидео Кодзима оказался алгоритмом
машинного обучения
Подписаться на push-уведомления