VR-разработчик собрал систему захвата движений лица и тела на базе iPhone X
И намерен использовать полученные данные в игре.
Американский разработчик из студии Kite&Lighting, специализирующейся на создании игр для виртуальной реальности, нашёл способ записывать лицевую анимацию с помощью iPhone X. На официальном YouTube-канале компании он выложил три ролика об экспериментах с технологией, которыми он занимается в свободное от работы время.
Он использовал инструмент Faceshift, который позволяет захватывать движения лицевых мышц, в основе которого лежит фреймворк ARKit. Разработчик признаётся, что он ищет быстрый и дешёвый метод создания лицевой анимации. Полученные анимации он планирует использовать в игре Bebylon: Battle Royale.
Он использует блендшейпы и риг, созданные компанией Eisko Services. В описании первого ролика разработчик отмечает, что устройство не отслеживает движения глаз, а моргание заставляет двигаться всю голову целиком.
В следующем ролике iPhone X уже способен отслеживать движения глаз, а блендшейпы стали лучше. При этом разработчик отмечает, что с ними предстоит ещё много работы.
Третье тестовое видео посвящено совмещению анимации лица, захваченной с телефоном, и анимации всего тела, которая была получена с помощью костюма Xsens.
Что то "ифон" вряд ли является дешевым средством для захвата. Куда дешевле использовать любую вебку высокого разрешения для совсем бюджетного решения, либо, как делают энтузиасты, кинектом от икс ящика.
тащемта у Apple есть API для FaceID, что упрощает использование технологии для разработчиков, а для "вебки с высоким разрешением" еще софтину придется искать для распознавания(которая скорее всего будет максимально кривая)
У кинекта слишком низкое разрешение чтобы захватывать лица (он даже пальцы различать не умеет), а в обычной вебке нет датчиков глубины, которые и позволяют добиться того уровня захвата, что показано в видео. Я думаю найти 1000 баксов на iPhone X может даже начинающий разработчик, если он делает хоть что-то серьезное, особенно учитывая то насколько хорошо выходит.
Сингулярность всё ближе.