Как создавать анимации с помощью текста и видео?
Решил записать видео по работе с Deepmotion - сервисом для создания анимации с помощью AI.
Deepmotion позволяет создавать анимации из Текста и Видео.
Для этого у него есть две подсистемы: SayMotion и Animate 3D. Первая создает анимации из текста, а вторая - из видео.
В Symotion можно зарегистрироваться и получить бесплатный аккаунт с кредитами для создания анимации из текста. 200 кредитов на месяц (раньше было 2000). Довольно простой интерфейс, возможность импорта своей скелетной сетки, а также экспорт анимации в форматах FBX, BVH, GLB и MP4. В будущем обещают мобильную версию инструмента.
Что касается Animate 3D, то тут почти, то же самое, только тариф crhjvytt: 60 кредитов в месяц, 20 секунд - максимальная длительность видео, 30 fps. Но даже при таком раскладе, я думаю это лучше, чем Plask.
В видео я постарался рассмотреть оба варианта, а также показать, как экспортировать анимации в Unreal Engine 5.4.
Почему UE5.4? Потому что я работаю в Unreal (не аргумент) и потому что в версии 5.4 значительно упростили ретаргет анимации со сторонних программ: Daz3d, ActorCore, Mixamo и т.п. Теперь все анимации можно перенести на скелет Unreal буквально в два клика!
В связи с чем я не стал затягивать видео и объяснять, как делать анимацию на более ранние версии движка. Если у вас устаревшие версии Unreal поищите уроки в сети самостоятельно или же можете глянуть мое видео по Plask.ai, где я показываю, как это делается.
Ранее я уже делился инфой о том, как можно создавать анимации в Plask.ai, но там все "не круто" вышло: разрабы выкатили новую версию движка - функционал поменялся, а что-то вообще перестало работать.
Надеюсь с Deepmotion такого не будет и апдейты пойдут ему только на пользу.
Надо будет попробовать
Мне кажется, слишком мало действий в промптах. Надо что-то типа
Взять кружку со стола, сделать глоток, повернуться через левое плечо, сделать сальто назад, в полёте ударить врага табуреткой и сделать супергеройское приземлениеИ всё это через автоматический переводчик прогнать. Инфа сотка.
Согласен. Чем чётче и детальней запрос, тем лучше результат. Есть поле для работы фантазии так сказать)
Короче, потыкал немного эту фигню. По ощущениям, ещё хуже чем mixamo. Там хотя бы анимации сами по себе качественные и проблема возникает когда они к твоей модельке не совсем подходят. А тут мало того, что анимации не подходят, так ещё и сами по себе они - кривое нейрогенерированное говно.
И это ещё при том, что в отличие от ТС у меня модель персонажа спокойно на сайт загрузилась без каких-либо проблем. И загруженные анимации в юнити подцепились тоже без проблем.
Я попытался сделать самое банальное. Бег вперёд, назад, влево, вправо. Вперёд и назад нейросетка меня поняла, влево, вправо - бесполезно. Максимум оно может пробежать вперёд пару шагов и потом повернуться.
https://youtu.be/tuEmfiJiWsE
Думал тут будет текст, как ты создаешь анимацию в этой проге, а тут видео...