Как я заменил актрису в сцене из фильма без использования DeepFake

Расскажу, как я заменил Еву Грин другой актрисой в сцене из фильма Город грехов 2: Женщина, ради которой стоит убивать. Делал все сам, бюджет минимальный.

Почему выбор пал именно на Город грехов, доподлинно неизвестно. Сцену предложила моя подруга, которая в кадре. Создавалось это все исключительно ради творчества, плюс еще лично мне было интересно на сколько сильной будет разница в картинке и смогу ли я вообще осуществить задуманное.

Когда я продумывал план действий, отметил, что сцена выбрана удачно с точки зрения подобной работы, потому что только в двух кадрах оба актера появляются вместе, но даже там не взаимодействуют друг с другом. Я задумался, стал искать информацию о съемках фильма и мои подозрения подтвердились. Оказывается многих актеров снимали в разные дни из-за конфликта съемочных графиков, то есть, по сути, они делали тоже самое, что хочу сделать я и монтаж сцен скорее был продиктован не только творческим замыслом, но и ограничениями.

Что по оборудованию. Я снимаю на фотоаппарат Canon R, еще у меня есть небольшой складной зеленый фон (продается на алиэкспресс), штатив, 2 света Yongnuo yn-216, микрофон Samson C02 и рекордер Tascam DR-40 самой первой версии. Снимать в итоге я решил дома, один прибор поставил примерно под 45 градусов, как в классических портретных схемах, вторым светил сзади на волосы, чтобы создать контровой свет. Звук писал в рекордер, палку с микрофоном держал сам.

Опущу сам процесс съемки, скажу только, что было много дублей. Все-таки язык не родной, да и Еву Грин вряд ли получилось бы догнать, а уж тем более переплюнуть. Остановлюсь больше на технических моментах. Фотоаппарат Canon R выдает картинку 4:2:0 (8 бит), с кодеком H.264. Если говорить простым языком, то исходные файлы с фотоаппарата содержат на много меньше информации по сравнению с современными кинокамерами, которые обычно снимают в несжатом формате с цветовой субдискретизацией 4:4:4. Чем это грозит на практике? Сжатые файлы невозможно корректировать на столько же гибко как несжатые, нельзя уже после съемки выбрать баланс белого или ISO, нельзя вытянуть видео если снял с пересветом итд итп. Также при съемке на зеленом экране, из-за цветовых ограничений, качество кеинга будет ниже. Да и в целом картинка с кинокамер более качественная, красивая и с большим динамическим диапазоном.

После съемки переходим в монтажную программу (я использую Vegas Pro) и накладываем нужные дубли на оригинальное видео. Я нашел файл с кино, в котором был пятиканальный звук, убрал все дорожки с голосами Евы и заменил это все на свои, оставив фоновые звуки. Во время съемки старались чтобы длина дубля, плюс минус совпадала с оригиналом, чтобы было легче это все подгонять потом.

Потом уже в After Effects начал убирать зеленый фон и корректировать свои файлы по цвету, чтобы они были похожи на оригинальное видео. Еще очень важно чтобы совпадала зернистость и резкость. Думаю, если бы видео было цветное, то подогнать бы не получилось. Как мы уже знаем, кеинг таких сжатых файлов вряд ли будет идеальным, плюс зеленый экран освещен неравномерно, поэтому я довольно долго боролся с этим всем. Обычно такие видео снимают в большом павильоне, ну или хотя бы с большим зеленым или синим экраном, который можно поставить подальше от персонажа и равномерно осветить его. У меня такой возможности не было, поэтому пришлось долго крутить настройки и где-то работать с масками. Неожиданно помог шумодав, после его применения, кеинг стал лучше и уже персонаж перестал быть прозрачным в некоторых местах. Результат конечно все равно далек от идеала, особенно если присматриваться, но в целом жить можно.

После того как все работы по кеингу были завершены, надо было переходить к глазам и губам. Они в оригинале остаются цветными. С глазами было проще чем с губами. Я просто сделал трекинг по зрачкам, потом создал 2 зеленых круглых слоя и поставил им режим наложения Overlay. Во время съемки я сказал актрисе чтобы она не моргала совсем, кажется за всю сцену было только одно моргание, поэтому было не сильно долго анимировать это все вручную.

С губами ситуация сложнее потому, что они двигаются. Перепробовав несколько вариантов, я остановился на Mocha Pro, это программа для планарного трекинга и ротоскопирования. Планарный трекинг может отслеживать целые плоскости, да и интерфейс там более удобный для таких дел. Конечно, не обошлось без ручной подгонки, но в Mocha это делать быстрее чем в After Effects. После того как трекинг закончен, можно экспортировать данные в виде маски для After Effects и применить ее к дубликату видео.

В некоторых кадрах удавалось наложить мое видео просто поверх оригинала, но где-то пришлось воссоздавать фоны. Я просто делал скриншот из фильма, затем в Photoshop замазывал Еву Грин и штампом копировал нужные детали на ее место. Фоны были не сложные, нарисованные, поэтому сильной детализации не требовали. Конечно, если присмотреться и сравнить, то все будет видно.

Еще кстати был немного удивлен, что выстрелы в этой сцене сделаны очень просто. На 2 кадра появляется полупрозрачный белый эллипс с размытыми границами. Делается в After Effects за 3 минуты.

На этом все, была еще небольшая работа по звуку в Adobe Audition, но там какая-то базовая обработка. Я не сильно разбираюсь в звуке, поэтому останавливаться на этом не буду. Прикладываю 2 видео, небольшой и не особо информативный Making Of, ну и финальное видео. Всем приятного просмотра. Буду рад советам и критике.