Нейросеть, которая подстраивает мимику актеров под голос озвучки

Британские ученые горазды не только в максимально странные исследования и открытия. "Neural net film lab" рассказали о новой нейросети, которая позволяет корректировать мимику при дубляже фильмов.

Если совсем просто: То ИИ анализирует кадры фильма, мимику и игру актера, собирает 3D маску, которая автоматически подстраивается под аудио-дорожку. Всё это дело накладывается на лицо актера и достаточно легко правится на пост-продакшене. В прямых руках можно достигнуть практически неотличимого результата, по сравнению с оригиналом.Безусловно, сейчас технология находится только на начальном этапе развития и выглядит достаточно кринжово.

Помимо трейлера с демонстрацией ИИ вы можете посмотреть отрывок из фильма "Форрест Гамп": https://vimeo.com/544367982 Вот он выглядит очень даже неплохо.

Другой вопрос, что бюджеты на озвучку фильмов могут серьезно подрасти из-за привлечения 3D специалистов, которые смогут не только грамотно скрыть работу нейросетки, но и поправить все косяки анимации так, чтобы не потерять изначальную игру актеров.

#нейросети #дубляж