Новый подход к отслеживанию рук

Исследовательский отдел Facebook продемонстрировал новый подход с использованием деформируемой физической модели.

В приведенной выше демке показано движение руки, зафиксированное со скоростью 30 кадров в секунду с использованием 124 камер, на 6-ядерном процессоре Xeon и графическом процессоре Tesla V100.

Многие действия руками включают пересечения и окклюзию. Мы пожимаем руки, сжимаем кулаки, переплетаем пальцы во время размышлений. Всё это довольно сложно отследить, поскольку существующие методы отслеживания не предназначены для чрезмерных самопересечений.

Команда Facebook Research решила расширить последние достижения в области отслеживания на основе зрения и физической анимации, создав первый алгоритм для отслеживания деформаций рук с высокой точностью. Новая система предназначена как для одной, так и для двух рук.

Ограничивая алгоритм отслеживания на основе зрения с помощью деформируемой физической модели, получился алгоритм, устойчивый к повсеместным самовзаимодействиям и массивным самоопересечениям, проявляемым обычными жестами рук, что позволяет отслеживать взаимодействия двух рук и некоторые из самых сложных жестов.

#facebook #VR #gamedevnews_анонс