Использование нейросетей для автопозинга — опыт авторов программы для создания анимации Cascadeur

Вложенность входных данных, комбинирование результатов и использование физической модели.

77 показов
6K6K открытий

А я думал, её уже доделали. Ну ладно, подождём.

Похожий результат даёт прога для художников Design Doll, в ней ты тоже двигаешь ключевые точки, и затем с помощью инверсной кинематики и многократного релакса поза преобретает реалистичный вид.

В Cascadeur конечно покруче, и программа заточена под анимацию. Думаю, это даст огромную экономию для индустрии. Ведь суть мокапа скорее не в точной передаче движений (ну хрен знает что там получится у артиста в мокап костюме), а в придании анимации реалистичности. Она проявляется в первую очередь в удержании равновесия, когда минимальное движение узнаваемо отражается на всем теле и особенно на туловище и ногах. Плюс инерция и особая последовательность срабатывания мышц (что немножко влияет на траектории). Это всё вполне можно вычислить физоном и добить до товарного вида нейронкой. Причём художнику гораздо легче будет самому анимировать персонажей исходя из соображений драматичности и композиции, а не надеяться на мокап актеров. Также гораздо быстрее и в тысячи раз дешевле.

Я бы сравнил это с тем, какое влияние когда-то оказал на индустрию Marvelous Designer

Ответить

Применение физики к обычному ригу не позволит учесть тонкости механики человеческого тела. Для инструмента с реалистичностью такого уровня нужно иметь либо очень большой, реалистичный и разнообразный датасет анимаций, либо пойти путем, когда сеть учится человечности сама: через симуляцию скелета\мышц и обучение с подкреплением. К примеру обучение с подкреплением сейчас используют чтобы заставить агентов повторять движения, или выполнять поставленные задачи. Полноценное решение задачи такого уровня пока кажется далеким, но мы продолжаем следить за развитием индустрии. Сейчас появляется все больше дифференцируемых симуляций: физика, рендеринг, возможно дело дойдет и до симуляции человеческих мышц.

Ответить