Gamedev Андрей Верещагин
4 902

Специалисты Facebook разработали ИИ, который позволяет делать из людей в видео управляемых персонажей

Теперь можно «пройти» свою свадебную хронику заново.

В закладки

Команда исследователей искусственного интеллекта из Facebook разработала технологию Vid2Play, которая позволяет превращать людей из видео в управляемых персонажей. Нейросеть анализирует ролики создаёт на основе действий людей в них виртуальную модель, которой можно управлять с помощью геймпада.

Всего используется две нейронные сети: Pose2Pose и Pose2Frame. Первая определяет движения человека в видео и отделяет его от фона. Затем Pose2Frame помещает «людей», их тени и любые предметы, которые находятся у них в руках, на новую сцену. После этого героями видео можно управлять в реальном времени.

В итоге получается изображение вроде того, что было в FMV-играх. Как говорят в Facebook, в новой версии Vid2Play намного меньше артефактов, чем раньше. В частности, изображение человека хорошо ложится на фон и не выглядит инородным. Однако наблюдаются подергивания анимации, а сами «модели» будто скользят по поверхности.

В декабре 2018 года Nvidia представила свою нейросеть, которая умеет создавать графику на основе видео. Возможности технологии показали на примере простого автомобильного симулятора. Как сообщили в Nvidia, с помощью этого ИИ можно также переносить движения одного человека на модель другого.

#facebook #технологии

{ "author_name": "Андрей Верещагин", "author_type": "editor", "tags": ["\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438","facebook"], "comments": 52, "likes": 88, "favorites": 47, "is_advertisement": false, "subsite_label": "gamedev", "id": 47434, "is_wide": false, "is_ugc": false, "date": "Fri, 19 Apr 2019 20:32:12 +0300" }
{ "id": 47434, "author_id": 22254, "diff_limit": 1000, "urls": {"diff":"\/comments\/47434\/get","add":"\/comments\/47434\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/47434"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 64954, "last_count_and_date": null }

52 комментария 52 комм.

Популярные

По порядку

Написать комментарий...
41

Смогу перепройти свое первое сентября нормально наконец-то

Ответить
6

😂Да и выпускной. Тот феил где бухой не стой танцевал исправить. И подкатить к той, от которой колени тряслись 😜

Ответить
10

😂👌👏🏻💯

Ответить
3

Мне первое сентября только в кошмарах снится, а ты добровольно хочешь "перепройти".

Ответить
14

На платину же...

Ответить
1

Ачивоебы

Ответить
3

Сурвайвл хоррор. Чтобы выжить ты должен скрафтить из ручки и бумаги оружие. Фишки и сигареты это валюта выдаваймая за скилл или еженедельный дроп за посещение(главное залогиниться а посещать данж не обязательно ) на завтраки от нпц Мама. Ещё ценится скилл доджа и стрейфа, а так же ближнего боя.но это рейд на школьную гопоту. Вернее инвент переодический, главная цель не огребсти пиздюлей, но на главных рейд боссов ценится скилл пиздючесть, не спалиться при списывании, и скинуть вину на таких чуваков как я которые сидят на задней парте и с очень бассовым голосом.

Ответить
0

Пардон, что пишу тут, но куда можно написать, если приложение вылетает постоянно на смартфоне? Причём началось это относительно недавно, до этого такого не было.

Ответить
7

Приложение вообще не открывается? Если можешь открыть - потряси телефоном и напиши в поддержку

Ответить
0

спасибо, добрый человек

Ответить
2

Речь про android?

Ответить
0

Да, по совету выше, я написал письмо через тряску телефона. Отправил заодно и видеозапись. Pixel, android 10. С той же версией андроида всё работало нормально неделю назад.

Ответить
1

Поможет отключение автовоспроизведения гифок. Как я понял, это проблема беты, нужно ждать хотя бы RC, чтобы начинать беспокоиться

Ответить
0

Думаю так и есть. Как раз неделю назад вернулся в место, где есть вай-фай, а гифки проигрывались только при нём. Спасибо!

Ответить
0

Почему никто не шутит про стать бойцом мортал комбата?

Ответить
1

Потому что в _смертельной_ битве проиграть можно только один раз.

Ответить
0

Это ошибка перевода. Mortal означает "смертный", а не смертельный. Всё это время это была просто "Битва смертных".

Ответить
0

И боги там смертны? И некромантии нет...

Ответить
1

Я читал однажды лор мортал комбата, и это была первостатейная ахинея, отвечать за которую я ни в каком месте не готов. Сами назвали, пусть сами и выкручиваются.

Ответить
1

Длинная битва

Ответить
0

Авторы вообще смогли в название, маладца.

Ответить
0

Что у тебя по матеше в 5 номере получилось?

Ответить
21

По гифке не сразу понял какого хрена он своего мейта херачит по ногам и жопе несколько раз

Ответить
9

как будто что-то плохое

Ответить
13

Настоящий некстген а не эти ваши технологии плейстейшн не меняющиеся 30 лет.

Ответить
10

Приплёл? Довольный там сидишь?)

Ответить
2

Товарищ Рогозин, когда на Марс полетим?

Ответить
9

В 2024 году, аккурат к выборам Владимира Владимировича.

Ответить
9

Хуя тут фанклуб.

Ответить
0

Когда страна и государство перестанут боятся что все все воруют и законами своими перестанут все запрещать и контролировать.

Ответить
0

Т.е. никогда?)

Ответить
0

Надейся на лучшее, ожидай худшего!

Ответить
0

так может некстген во всю будет использовать нейросети для текстов, сюжетов, голосов, визуала, физики.

Ответить
16

Нихера се колдунство

Ответить
13

Теперь можно «пройти» свою свадебную хронику заново.

И в нужный момент сказать "нет"?

Ответить
6

Ксюха из 11а, все до сих пор говорят, что ты была толстой, но кнопки вперед-назад работают, так что выпускной мы немного пересмотрим

Ответить
3

😂я уже представляю как можно фильм терминатор пройти по-своему.

Ответить
9

А я другие фильмы перепройду
))00))0

Ответить
2

Такая длинная улыбка. Видать я понял о чем ты)))))))))

Ответить
6

Лучше все те нелепые ужастики с действиями вида "дура, куда ты пошла, там маньяк!"

Ответить
1

😂😂😂да да да. Вечно им кричишь...пока они сами кричать не начнут(((

Ответить
0

Что значит пройти?)

Ответить
1

))))) Во-первых, это стёб, дабы поддержать общий кураж, хороший настрой.
Во-вторых, пройти так же, как проходят видео игры.
Хотя возможно, тут стоит поменять местами первое со вторым.

Ответить
5

Теперь можно «пройти» свою свадебную хронику заново.

Да кому это интересно! Лучше бы сказали, когда к порно прикрутят технологию :D

Ответить
5

Наконец-то Балрог сможет пройти.

Ответить
3

Окей, это круто, но когда это дело попадёт в хоть какой-нибудь доступ, дабы энтузиасты это смогли использовать для своих проектов, а обладатели карт с тензорными блоками - поиграть в новую игрушку?

Ответить
3

Ожидал, что в треде все шутки про порно, а тут все как-то до безобразия благочестиво, аж скучно

Ответить
0

Да пипец. Я джва года жду нормальный секс сим с прямым управлением.

Ответить
0

В детстве мечтал о подобном. Типа, перенестись в фильм на экране со знанием того, что не знают положительные герои. Сломать планы злодею, изменить ход фильма.

Ответить
0

Меня там забанили при регистрации(

Ответить
0

Круто

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } } ]
Невероятно! Skyrim портировали на...
Подписаться на push-уведомления