MetaHuman Animator - что это такое и с чем его едят?

Я думаю многие видели презентацию Epic Games два месяца назад, где они представили новую технологию лицевой анимации MetaHuman Animator на примере перфоманса Мелины Юргенс, которая играет главную роль в предстоящей Hellblade 2. Интернет и профильные блоггеры сели на хайптрейн потому что качество лицевой анимации в демо было феноменальным и что самое главное - для записи нужен не профессиональный мокап-шлем с кучей камер и маркировкой лица, а всего лишь iPhone.

Как человек, который интересуется и работает с системами захвата лицевой анимации (я успел попробовать как баловство в виде Live Link Face, так и профессиональные инструменты в виде Faceware и Facegood) я не мог пройти мимо и очень ждал релиз. И неделю назад он состоялся. Конечно же, я ворвался в эту тему моментально и результат на самом деле оказался потрясающим для сырой записи и сейчас я расскажу, как работать с этой технологией.

Для работы с MetaHuman Animator вам понадобится iPhone 12 и выше. Хоть модели начиная с X имеют камеру глубины, но их мощностей не хватает для стабильной работы приложения Epic Games по записи лицевой анимации.

Если у вас уже есть готовая анимация тела и вы хотите дозаписать лицо, то можно использовать просто штативчик на столе.

А если вы хотите сделать perfomance capture (то есть записать полный отыгрыш актера включая тело и лицо) и у вас для этого есть костюм для записи мокапа (например, Rokoko или Xsens небольшой обзор которого я писал вот тут), то вам стоит использовать шлем с креплением под телефон. Подобный шлем можно заказать как готовое решение (дешевле 500 баксов я кажется не встречал), либо скрафтить самому потратив на это 2-3 тысячи рублей (как это сделал я - ставь лайк если хочешь отдельный рассказ про крафт шлема).

Важно: ваше лицо должно быть хорошо освещено и как на штатив так и на шлем стоит крепить подстветку.

Чтобы начать запись вам нужно запустить приложение Live Link Face и выбрать в нём режим MetaHuman Animator - именно в нём приложение будет писать глубину видео и все необходимые данные для работы в движке.

Первым делом вам надо отписать калибровку лица - посмотреть прямо, влево, вправо и показать зубы (это важно для корректного трекинга смыкания челюсти). Закиньте сохраненный архив на комп и разархивируйте его в папку в которой будете хранить все ваши последующие перфомансы.

Далее нужно запустить Unreal Engine 5.2 (младшие версии движка не поддерживают технологию) и сделать следующие шаги (ниже я закинул полноценный туториал):

Готовую анимацию можно применять на любом Метахьюмане. Лучше всего анимация с вашего лица ляжет на вашу цифровую копию, потому что одна и та же эмоция на разных лицах выглядит по разному (проблемы физиологии). Для себя я еще в том году создал своего цифрового клона при помощи Facebuilder.

По моему мнению результат получается довольно крутым, потому что обычно достичь такое смыкание губ и такую плавность с классических решений записи лица можно лишь с помощью ручной доводки. Да, эту запись еще стоит доработать руками для получения максимально живого результата, но это займет в разы меньше времени, чем это было раньше. Очень круто иметь инструмент подобной мощи буквально у себя под руками. Epic уже заявили, что со временем будут расширять поддержку устройств, например, Facegood уже готовят свою камеру глубины для подобной технологии скоро мы получим шлемы нового поколения.

Спасибо, что прочитали мой материал, подписывайтесь на мой ютуб канал и соцсеточки!

Мой YouTube

Мой Twitter

P.S. Работы по моему короткометражному Top Gun продолжаются и совсем скоро я покажу финальный тест препродакшена!