Использование нейросетей для автопозинга — опыт авторов программы для создания анимации Cascadeur

Вложенность входных данных, комбинирование результатов и использование физической модели.

77 показов
6K6K открытий

Было бы прекрасно, если бы в Каскадере можно было подобную модель использовать для обработки мокапа. Например, я импортирую семь таргетов (ступни, кисти, пояс, грудь и голова), а нейросеть и физическая модель сглаживают возможные выбросы и корректируют плечи, колени и другие второстепенные кости.

Ответить

Нам известно о существующих решениях этой задачи, к примеру то, что сделали Ubisoft. Мокап для нас интересная тема, уже ведется работа по исследованию возможностей технологий распознавания позы, движений и технологий чистки мокапа. Если говорить про использование Автопозинга, т.е. не совсем чистка, но додумывание позы, то пока этот инструмент работает только на отдельных позах. Но мы также уже задумываемся о том, как можно было бы его применить к задаче восстановления анимации по траекториям, заданным пользователем.

Ответить