Читай по губам

Небольшое описание инструмента в UE5.5 (может и ниже работает, не проверял) Audio Driven Animation for MetaHuman Animator

Анимация метахумана по записи голоса, не надо настраивать айфоны и прочее для простейшего оживления лицевой анимации.

Видео работы выше, но тут рендер с последующим сведением видео и звуковой дорожки в один файл, может быть и не точно это сделал. Не старался.

Для того чтобы это опробовать, достаточно установить плагин метахумана (МХ) в движок и в проект, скачать через квиксель подопытного МХ

Тут на инглише тоже самое + всякие нюансы

Делается это просто (ниже есть ссылка на тутор в трубе), создание в контенте metahuman performance, дальше по шагам на картинке внизу

1. Выбрать в списке audio

2. Сам файл с голосом

3. Выбрать нужный МХ (набрать facemesh в поиске и отфильтруются лишние)

4. Нажать process и после этого уже можно проиграть анимацию

5. Экспорт в анимацию (не знаю, как в теории она называется) и в level sequence

Несколько замечаний:

Если будет лод как на картинке, то анимация не будет отображаться. Надо параметр scalability движка поставить на medium или выше. Если кто-то знает как сделать в окне перфоманса подобное не меняя scalability, то делитесь этими знаниями.

И ещё, перед созданием МХ перфоманса у меня было предупреждение из-за того, что делаю на ноуте с апу. Можно смело игнорить его

Рендер делал с level sequence, для этого экспортировал в animation sequence и есть одна деталь, анимацию эту надо кидать в face (он выше Face_ControlBoard_CtrlRig) и замьютить Face_ControlBoard_CtrlRig, без этого не работает. Не знаю почему без мута не пашет, не изучаю эту часть ещё.

Это всё

видео на ютубе англоязычного чувака (если бы раньше увидел его, много бы времени себе сэкономил) - youtube.com/watch?v=XIrekfg_fmw - не оформленная, потому что всё равно не работает, но можно через любой сервис скачивания с ютуба.

Может у кого-то есть идле-анимации для глаз в секвенсере и может поделиться. И может кто знает, как делать рендер чтобы видео и аудио было одним файлом.

А

Ещё один из результатов

Все озвучки получены на бесплатных нейронках потому что