Новый подход к отслеживанию рук
Исследовательский отдел Facebook продемонстрировал новый подход с использованием деформируемой физической модели.
В приведенной выше демке показано движение руки, зафиксированное со скоростью 30 кадров в секунду с использованием 124 камер, на 6-ядерном процессоре Xeon и графическом процессоре Tesla V100.
Многие действия руками включают пересечения и окклюзию. Мы пожимаем руки, сжимаем кулаки, переплетаем пальцы во время размышлений. Всё это довольно сложно отследить, поскольку существующие методы отслеживания не предназначены для чрезмерных самопересечений.
Команда Facebook Research решила расширить последние достижения в области отслеживания на основе зрения и физической анимации, создав первый алгоритм для отслеживания деформаций рук с высокой точностью. Новая система предназначена как для одной, так и для двух рук.
Ограничивая алгоритм отслеживания на основе зрения с помощью деформируемой физической модели, получился алгоритм, устойчивый к повсеместным самовзаимодействиям и массивным самоопересечениям, проявляемым обычными жестами рук, что позволяет отслеживать взаимодействия двух рук и некоторые из самых сложных жестов.