Будущее дубляжа

Нейросеть, которая подстраивает мимику актеров под голос озвучки

Британские ученые горазды не только в максимально странные исследования и открытия. "Neural net film lab" рассказали о новой нейросети, которая позволяет корректировать мимику при дубляже фильмов.

Если совсем просто: То ИИ анализирует кадры фильма, мимику и игру актера, собирает 3D маску, которая автоматически подстраивается под аудио-дорожку. Всё это дело накладывается на лицо актера и достаточно легко правится на пост-продакшене. В прямых руках можно достигнуть практически неотличимого результата, по сравнению с оригиналом.Безусловно, сейчас технология находится только на начальном этапе развития и выглядит достаточно кринжово.

Помимо трейлера с демонстрацией ИИ вы можете посмотреть отрывок из фильма "Форрест Гамп": https://vimeo.com/544367982 Вот он выглядит очень даже неплохо.

Другой вопрос, что бюджеты на озвучку фильмов могут серьезно подрасти из-за привлечения 3D специалистов, которые смогут не только грамотно скрыть работу нейросетки, но и поправить все косяки анимации так, чтобы не потерять изначальную игру актеров.

{ "author_name": "Александр Демьяненко", "author_type": "self", "tags": ["\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u0434\u0443\u0431\u043b\u044f\u0436"], "comments": 82, "likes": 158, "favorites": 77, "is_advertisement": false, "subsite_label": "avi", "id": 724936, "is_wide": false, "is_ugc": true, "date": "Thu, 06 May 2021 20:00:08 +0300", "is_special": false }
0
82 комментария
Популярные
По порядку
Написать комментарий...
97

У меня может глаз намётан, но выглядит плохо все равно.

Ответить
53

Наш мозг сложно обмануть. Любое неестественное движение он подмечает и бьет тревогу. Стандартный эффект зловещей долины.

Ответить
2

Вглядываться меньше нужно.

Ответить
38

Чтобы в будущем пропустить вторжение замаскированных синтов-рептилоидов? Нет уж, спасибо.

Ответить
0

Это нужно говорить тем, кто хочет липсинкать локализированные озвучки

Ответить
5

наш мозг сложно обмануть

Да стойте ровно блять!

Ответить
0

Это немного другое)

Ответить
2

Тем не менее, дубляж который не соответствует мимике, тоже выглядит неестественно. Так что надо выбирать из двух зол

Ответить
24

Пиздец, ничего настоящего скоро в мире не останется. Живем в мире симулякров и чем дальше, тем сильнее на него подсаживаемся. Ну так и что же есть реальность тогда?

Ответить
58

реальность не реальна

Ответить
5

Стоит посмотреть с положительной стороны. Очень часто в кино какие-то отдельные фразы или слова переозвучивают уже на пост-продакшене, из-за чего в фильме можно заметить рассинхрон между губами актёра и произносимой фразой. Теперь эту проблему можно будет легко устранить без дорогущего cgi.

Ответить
47

Рассинхрон между словами и губами это не проблема. Проблема, когда перевод коверкают ради того, чтобы в губы попадать.

Ответить
1

Это никуда не денется, тайминги неумолимы. Если в оригинале была односложная фраза, никакая нейросеть не поможет впихнуть два слова.

Ответить
0

Не знаю, у меня речь шла про кино на языке оригинала. Дубляж я всё равно считаю вредным. Те же корейские фильмы смотрю только с поверхностной озвучкой.

Ответить
0

Зато истинная мимика и игра актёров сохранены и это, куда важнее.

Ответить
4

Поскорее бы ничего настоящего не осталось.

Ответить
1

Куда-то спешишь?

Ответить
2

Все настоящее это шлак полный.

Ответить
0

Настоящее переносить тяжело, но я бы не сказал, что прям шлак, если здоровье позволяет переносить без травм и увечий. Другое дело, что настоящее - тоже порождение иллюзорного, и тут как бы получается, куда ни глянь - один пиздец. Мы отрываемся от берега настоящего, но есть ли какой-то другой берег?

Ответить
1

А будущее выглядит ещё пиздецовее. Ровно потому, что многие пребывают в иллюзиях, и отказываться от них не собираются, а с новыми технологиями ещё и сообщников-глюконавтов находят.

Ответить
0

Узнал в твоем описании себя.

Ответить
5

"Пиздец, ничего настоящего скоро в мире не останется. Живем в мире симулякров"

Ответить
2

ничё такая

Ответить
5

Все мы симулякры во сне собаки. 

Ответить
0

созвездия собаки уж тогда

Ответить
2

реальность всегда была тем, во что каждый сам верит.

Ответить
0

знать бы еще кто такой этот каждый, о котором все говорят

Ответить
2

юзай толковый словарь 

Ответить
0

словарь - просто набор слов, смысла в них не больше чем в реальности

Ответить
0

Это ты. 

Ответить
1

Чел, ты серьёзно сейчас это порешь?

Ответить
0

А у тебя есть какой-то интеллектуальный комментарий на тему, или только что-то типичное типа "иди на завод работай"?

Ответить
0

Цитируя "Несколько хороших парней"
ПРАВДА ТЕБЕ НЕ ПОЗУБАМ, СЫНОК!!!!!!

Ответить
0

Всё шо мы видим, слышим и чувстуем, ета реальность

Ответить
0

Хотя впрынципе всё илюзия

Ответить
22

Простите за бомбалейо, но все же - какая тварина не додумалась встроить в плеер управление звуком, твою ж мать?!!

Ответить
1

Согласен, мне тоже хотелось погромче сделать.

Ответить
9

Прошу прощения за оффтоп, но я один проностальгировал услышав фоновый саунд и пошел в 20ый раз пересматривать обе части Трон?

Ответить
7

Не постесняюсь использовать классику.

Ответить
4

Ещё немного и дубляж фильмов тоже делать не придётся, нейронки сами будут переводить голоса актёров на нужные языки. И все встречаемые тексты будут на языке, котором смотрится фильм.

Ответить
5

Ага, а потом еще немного и можно будет не снимать даже, нейронки будут сами это делать.
А еще чуть позже можно даже не смотреть будет.

Ответить
0

А вот это уже скорее всего самый реалистичный сценарий.
Выбираешь сеттинг, стиль, параметры актеров, сценарий и нейронка рендерит тебе кинцо. Я думаю нетфликс уже двигается в этом направлении.

Хуже каких-нибудь мстителей все равно уже не будет ни по актерской игре, ни по сценарию.

Ответить
1

На самом деле очень жду этого. Хотелось бы слышать переведённый голос самого актёра, а не актёров дубляжа, которые часто или недоигрывают, или переигрывают, или одни и те же голоса в каждом втором фильме. 

Ответить
0

Было бы отлично!!!!

Ответить
0

И это будет качественее большинства текущих озвучек

Ответить
4

"Don't read... watch". Помню Jon Tron как-то наехал на одного российского блогера за перевод своих роликов, типа в России мы все идиоты что не читаем субтитры. Может это я привык в основном всё смотреть в субтитрах, но, справедливости ради, в субтитрах более точный перевод не ограниченный лип-синком, ИМХО.

Ответить
5

Ну скорее всего, автор имел ввиду, что просмотр кино с субтитрами, превращается в чтение фильма, а не полноценный его просмотр.

Ответить
3

проблема локализаций далеко не в липсинке

Ответить
3

кто-то говорил о локализации?

Ответить
0

ок, дубляжа

Ответить
3

помимо уже озвученного вопроса, стоит отдельно отметить, что и в липсинке тоже

Ответить
1

А когда накопится обширная библиотека масок, можно будет и актеров отменить. Зачем платить 20 миллионов Шварцнегеру, если нонейм в маске Шварцнегера украсит кадр не хуже.

Ответить
10

Будут платить 10 тыс. ноунейм актеру, оставшиеся миллионы Шварцнеггеру или правообладателю его "лица".

Ответить
0

Откуда музыка? Знакомая до жути

Ответить
3

Трон же. Божественный саундрек все таки

Ответить
1

Точно! Дафт Панк же. Как же стыдно что не узнал, заслушал же его до дыр в своё время.
The Son of Flynn божественная

Ответить
1

Но кринжово же.

Ответить
1

С николсоном совсем не очень

Ответить
0

Не будет никогда(если конечно не задрачиваться с репликами которые будут одинаковые по таймингам), а вот для игр липсинк через нейросети вполне реален

Ответить
0

Андромеда ты ли это?

Ответить
0

И помни: ни слова по-русски.

Ответить
0

Все таки за нейросетями будущее 

Ответить
0

настоящее

Ответить
0

Уже в киберпанке было

Ответить
0

О, "Несколько хороших парней" на превью. Хороший фильм. 

Ответить
0

А я за субтитры, которые висят под подбородком персонажа и следуют за его головой. Быстро прочитал перевод и заценил сразу мимику актера, его взгляд.

Ответить
0

Выглядит круто

Ответить
0

Из серии "Нейросеть, которая стирает усы актеров под сюжет фильма"

Ответить
0

Сомнительная функциональность. Мало того, что в разных языках длительность фраз отличается, из-за чего при её применении может в теории возникать рассинхрон в происходящем (например, кто-то закричит раньше, чем нужно ), так ещё и вносятся изменения в оригинал. Во многих случаях дубляж и так портит восприятие работы актера, а тут ещё и мимику модифицировать начнут.

Ответить
0

Будущее XD Это выглядит максимально всрато и не естественно

Ответить
0

Использовать музыку из Трона 2010 года? Серьезно?  Надеюсь они за нее заплатили

Ответить
0

Теперь сможем смотреть не только с херовым дубляжем но и с херовой мимикой

Ответить
0

Ведьмаку 3 помогло бы

Ответить
0

Don't READ... WATCH

С качеством нашего типичного дубляжа, я предпочту чтение.

Ответить
0

Круто. Понятно, что только первые заметные шаги, но идеал уже не за горами. К версии 4.0 можно будет уже внедрять.) 

Ответить
0

Во-первых, такое себе... во-вторых, музыку подобрали слишком пафосную. В-третьих, Трон рулит!

Ответить
0

Музыка из видоса внесла коррективы и автоматом подставила в голове иную "озвучку" под нее) =>

Ответить
0

Кринжевые ребята выходят, особенно дениро, как робот из зловещей долины.

Ответить
0

Крипово выглядит

Ответить
0

Такими технологиями можно будет взять видео с каким-нибудь неугодным человеком, заменить в спец. софте изображающим его голос сказанное им на что-нибудь нехорошее, потом нейросетями меняющими мимику наложить звуковую дорожку и получится видео, где нужный человек своим настоящим голосом говорит всё что угодно с точным совпадением мимики. А  потом дискредитировать людей и выставлять их в невыгодном свете.
Все эти технологии дают кучу возможностей для махинаций, мошенничества и злоупотреблений. Можно даже записать видео где вы добровольно соглашаетесь передать всё своё имущество левым людям. Все эти технологии создания цифровых двойников до добра не доведут.

Ответить
0

Uncanny Valley

Ответить
Комментарии
null