Наука
Denis Shiryaev
3682

Плагин нейронки OpenPose для определения позы человека по видео под Unity

Есть такая нейронка «OpenPose», которая определяет «положение» человека в пространстве по обычной 2D-картинке на входе, проще всего показать как она работает можно на этих гифках:

Работает в режиме реального времени
Результат работы на каком-то клипе с ютуба

Так вот, ребята запили Open Source плагин этой нейронки под юнити, вот он:

Убежден, что нас только ждет еще интеграция ML и Gamedev индустрии, если будете ковырять плагин, поделитесь результатом :)

Привет, я Денис, приятно познакомиться!
{ "author_name": "Denis Shiryaev", "author_type": "editor", "tags": [], "comments": 17, "likes": 64, "favorites": 39, "is_advertisement": false, "subsite_label": "science", "id": 43985, "is_wide": true, "is_ugc": false, "date": "Sat, 23 Mar 2019 10:20:49 +0300", "is_special": false }
Объявление на DTF
0
17 комментариев
Популярные
По порядку
Написать комментарий...
2

Изучал сей плагин к openpose - он пока генерирует только двумерные координаты. Если хочется трехмерные координаты - надо допиливать напильником и использовать 3D-реконструкцию по данным с нескольких камер. При реконструкции возможен захват только одного скелета (текущие ограничения openpose)

А так желаю ребятам удачи и слежу за их разработкой :)

Ответить
1

Ну тогда ребята из iPi Soft выдохнули )

Ответить
0

Видел где-то что-то для 3д на эту тему, но уже не вспомню(

Ответить
0

Ну я делал схожее скриптами на блендере, но это без ML’а, и чисто маркерным методом.
Да, больше мороки, но пока что самый действенный метод :)

Ответить
3

Да с камер вполне норм захваты делают
И у них есть 3д захват для нескольких людей в кадре

Ответить
2

Комментарий удален по просьбе пользователя

Ответить
1

Комментарий удален по просьбе пользователя

Ответить

Алюминиевый якорь

0

Через пять лет в обзорах:
«Разработчики поскупились на полноценный захват движений персонажей для кат-сцен, поэтому их движения были сняты спомощью нейронной сети. Это можно заметить по частым непроизвольным рывкам в анимации.»

Ответить
2

5 лет? :) это уже в этом году я думаю, через 5 лет рывков не будет, да и в целом моушн капчер будет нужен только для редких сцен

Ответить
0

Ребята из iPi Soft с горя напьются ))
плакали их лицензии по 2000$

Ответить
2

ML угрожает многим коммерческим проектам, почти во всех сферах :)

Ответить
0

У них тоже возможно нейронка, они тоже по 2D картинке делают и лучшие на рынке, но цены кусаются для инди.
Тут в новости главное, что проект опенсорс.

Ответить
0

Очень ожидаемо, как появился бум нейронок я об этом сразу подумал. До массового использования конечно рановато но думаю в ближайшее время нагонят, это неизбежно.

Ответить
0

Да это всё фигня что нейронки что стриминговые платформы, что лучи.

Ответить
0

м?

Ответить
0

У ней внутре нейронка

Ответить
0

А есть как отдельная программа?

Ответить

Прямой эфир

{ "jsPath": "/static/build/dtf.ru/specials/DeliveryCheats/js/all.min.js?v=05.02.2020", "cssPath": "/static/build/dtf.ru/specials/DeliveryCheats/styles/all.min.css?v=05.02.2020", "fontsPath": "https://fonts.googleapis.com/css?family=Roboto+Mono:400,700,700i&subset=cyrillic" }