Gamedev Андрей Верещагин
1 114

VR-разработчик собрал систему захвата движений лица и тела на базе iPhone X

И намерен использовать полученные данные в игре.

В закладки

Американский разработчик из студии Kite&Lighting, специализирующейся на создании игр для виртуальной реальности, нашёл способ записывать лицевую анимацию с помощью iPhone X. На официальном YouTube-канале компании он выложил три ролика об экспериментах с технологией, которыми он занимается в свободное от работы время.

Он использовал инструмент Faceshift, который позволяет захватывать движения лицевых мышц, в основе которого лежит фреймворк ARKit. Разработчик признаётся, что он ищет быстрый и дешёвый метод создания лицевой анимации. Полученные анимации он планирует использовать в игре Bebylon: Battle Royale.

Он использует блендшейпы и риг, созданные компанией Eisko Services. В описании первого ролика разработчик отмечает, что устройство не отслеживает движения глаз, а моргание заставляет двигаться всю голову целиком.

В следующем ролике iPhone X уже способен отслеживать движения глаз, а блендшейпы стали лучше. При этом разработчик отмечает, что с ними предстоит ещё много работы.

Третье тестовое видео посвящено совмещению анимации лица, захваченной с телефоном, и анимации всего тела, которая была получена с помощью костюма Xsens.

#технологии

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Андрей Верещагин", "author_type": "editor", "tags": ["\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438"], "comments": 9, "likes": 17, "favorites": 6, "is_advertisement": false, "subsite_label": "gamedev", "id": 14577, "is_wide": false, "is_ugc": false, "date": "Fri, 12 Jan 2018 15:06:00 +0300" }
{ "id": 14577, "author_id": 22254, "diff_limit": 1000, "urls": {"diff":"\/comments\/14577\/get","add":"\/comments\/14577\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/14577"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 64954 }

9 комментариев 9 комм.

Популярные

По порядку

Написать комментарий...
–8

Что то "ифон" вряд ли является дешевым средством для захвата. Куда дешевле использовать любую вебку высокого разрешения для совсем бюджетного решения, либо, как делают энтузиасты, кинектом от икс ящика.

Ответить
8

тащемта у Apple есть API для FaceID, что упрощает использование технологии для разработчиков, а для "вебки с высоким разрешением" еще софтину придется искать для распознавания(которая скорее всего будет максимально кривая)

Ответить
0

Вангую что подобное появится у Android смартфонов за 100$ через пол года, а то и раньше.

Ответить
–2

О да, минусаторы. Аналог Touch ID сейчас ни в одном смартфоне дешевле 999$ не найдешь.

Ответить
0

Ты юморист? Очень смешно шутишь: "Аналог тач айди не найти в телефоне дешевле 50к"
З.Ы. Аргументируй минус свой, боец

Ответить
–1

Боже мой, вы сарказма не понимаете?

Ответить
6

У кинекта слишком низкое разрешение чтобы захватывать лица (он даже пальцы различать не умеет), а в обычной вебке нет датчиков глубины, которые и позволяют добиться того уровня захвата, что показано в видео. Я думаю найти 1000 баксов на iPhone X может даже начинающий разработчик, если он делает хоть что-то серьезное, особенно учитывая то насколько хорошо выходит.

Ответить
0

Насколько помню, Kinect 2.0 различает пальцы и немного мимику.

Ответить
0

Сингулярность всё ближе.

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } } ]
Узнавайте новости о мостах
Санкт-Петербурга первыми
Подписаться на push-уведомления