Специалисты Facebook разработали ИИ, который позволяет делать из людей в видео управляемых персонажей

Теперь можно «пройти» свою свадебную хронику заново.

Команда исследователей искусственного интеллекта из Facebook разработала технологию Vid2Play, которая позволяет превращать людей из видео в управляемых персонажей. Нейросеть анализирует ролики создаёт на основе действий людей в них виртуальную модель, которой можно управлять с помощью геймпада.

Всего используется две нейронные сети: Pose2Pose и Pose2Frame. Первая определяет движения человека в видео и отделяет его от фона. Затем Pose2Frame помещает «людей», их тени и любые предметы, которые находятся у них в руках, на новую сцену. После этого героями видео можно управлять в реальном времени.

В итоге получается изображение вроде того, что было в FMV-играх. Как говорят в Facebook, в новой версии Vid2Play намного меньше артефактов, чем раньше. В частности, изображение человека хорошо ложится на фон и не выглядит инородным. Однако наблюдаются подергивания анимации, а сами «модели» будто скользят по поверхности.

В декабре 2018 года Nvidia представила свою нейросеть, которая умеет создавать графику на основе видео. Возможности технологии показали на примере простого автомобильного симулятора. Как сообщили в Nvidia, с помощью этого ИИ можно также переносить движения одного человека на модель другого.

8282
51 комментарий

Смогу перепройти свое первое сентября нормально наконец-то

42

😂Да и выпускной. Тот феил где бухой не стой танцевал исправить. И подкатить к той, от которой колени тряслись 😜

9

Комментарий недоступен

3

Пардон, что пишу тут, но куда можно написать, если приложение вылетает постоянно на смартфоне? Причём началось это относительно недавно, до этого такого не было.

Почему никто не шутит про стать бойцом мортал комбата?

По гифке не сразу понял какого хрена он своего мейта херачит по ногам и жопе несколько раз

21