Плагин нейронки OpenPose для определения позы человека по видео под Unity
Есть такая нейронка «OpenPose», которая определяет «положение» человека в пространстве по обычной 2D-картинке на входе, проще всего показать как она работает можно на этих гифках:
Работает в режиме реального времени
Результат работы на каком-то клипе с ютуба
Так вот, ребята запили Open Source плагин этой нейронки под юнити, вот он:
Убежден, что нас только ждет еще интеграция ML и Gamedev индустрии, если будете ковырять плагин, поделитесь результатом :)
Изучал сей плагин к openpose - он пока генерирует только двумерные координаты. Если хочется трехмерные координаты - надо допиливать напильником и использовать 3D-реконструкцию по данным с нескольких камер. При реконструкции возможен захват только одного скелета (текущие ограничения openpose)
А так желаю ребятам удачи и слежу за их разработкой :)
Ну тогда ребята из iPi Soft выдохнули )
Видел где-то что-то для 3д на эту тему, но уже не вспомню(
Комментарий недоступен
Комментарий недоступен
Через пять лет в обзорах:
«Разработчики поскупились на полноценный захват движений персонажей для кат-сцен, поэтому их движения были сняты спомощью нейронной сети. Это можно заметить по частым непроизвольным рывкам в анимации.»
5 лет? :) это уже в этом году я думаю, через 5 лет рывков не будет, да и в целом моушн капчер будет нужен только для редких сцен