Плагин нейронки OpenPose для определения позы человека по видео под Unity

Есть такая нейронка «OpenPose», которая определяет «положение» человека в пространстве по обычной 2D-картинке на входе, проще всего показать как она работает можно на этих гифках:

Работает в режиме реального времени
Результат работы на каком-то клипе с ютуба

Так вот, ребята запили Open Source плагин этой нейронки под юнити, вот он:

Убежден, что нас только ждет еще интеграция ML и Gamedev индустрии, если будете ковырять плагин, поделитесь результатом :)

5555
17 комментариев

Изучал сей плагин к openpose - он пока генерирует только двумерные координаты. Если хочется трехмерные координаты - надо допиливать напильником и использовать 3D-реконструкцию по данным с нескольких камер. При реконструкции возможен захват только одного скелета (текущие ограничения openpose)

А так желаю ребятам удачи и слежу за их разработкой :)

2
Ответить

Ну тогда ребята из iPi Soft выдохнули )

1
Ответить

Видел где-то что-то для 3д на эту тему, но уже не вспомню(

Ответить

Комментарий недоступен

2
Ответить

Комментарий недоступен

1
Ответить

Через пять лет в обзорах:
«Разработчики поскупились на полноценный захват движений персонажей для кат-сцен, поэтому их движения были сняты спомощью нейронной сети. Это можно заметить по частым непроизвольным рывкам в анимации.»

Ответить

5 лет? :) это уже в этом году я думаю, через 5 лет рывков не будет, да и в целом моушн капчер будет нужен только для редких сцен

2
Ответить