Грустное караоке: откуда взялась песня Dame Da Ne и почему её поют дипфейки

Бонусом: туториал по созданию мема.

В конце июля в сети завирусились дипфейки с людьми, поющими Baka Mitai — песню из караоке в Yakuza. Всего за пару дней пользователи при помощи нейросети создали десятки вариаций мема — с Рикардо, Шреком и прочими известными личностями и персонажами.

Для тех, кто не понимает, что происходит, рассказываем о происхождении Dame Da Ne — а также показываем, как сделать дипфейк самостоятельно.

Dame Da Ne — это слова из припева песни Baka Mitai («Какой же я дурак»), которую главный герой Yakuza Кадзума Кирю может исполнить в караоке из 0 и 5 частей. В ней поётся о любви и искуплении лирического героя перед своей возлюбленной.

Сам припев на русский можно было бы перевести вот так:

Так нельзя!
Так нельзя, так не годится!
Я тебя люблю, люблю чрезмерно.
И как бы ни был крепок алкоголь,
Воспоминания нельзя стереть.
Я такой идиот.

Изначально Baka Mitai «замемилась» в сообществе Yakuza — с ней делали ролики по мотивам сюжета игры. Самые популярные видео, согласно Know Your Meme, были опубликованы ещё в 2018 году — они набрали сотни тысяч просмотров.

А в 2018-м появились первые дипфейки по мотивам песни — но большой популярности они не снискали. Причём, они основаны не на анимации из самой Yakuza, а «перепевке» пользователя, пародирующего лицо Кирю — в его версии лицо всегда находится в кадре.

Ниже — дипфейк с магическим зеркалом из «Шрека».

В июле 2020 года Baka Mitai дали вторую жизнь — дипфейки с песней начали публиковать с утроенной силой. Сначала разошёлся ролик с лицом техноблогера Linus Tech Tips, а затем — c «гигачадом».

После них дипфейки стали применять ко всем подряд — блогерам, политикам, персонажам и даже к другим мемам.

Где-то даже получается правдоподобно — за исключеним пары артефактов.

Рикардо

Рик Эстли

Но в большинстве случаев «зловещая долина» берёт верх.

Танос

Doge

Майкл Роузен («Nice!»)

Шрек

Крэйгу из Halo: Infinite тоже досталось.

Уже есть ультимативные подборки.

Также редакция DTF создала свои дипфейки — на основе туториала, который описан ниже.

Фил Спенсер

Джоэл из The Last of Us: Part II

Тодд Говард

Дипфейк нетрудно сделать самостоятельно. Для этого потребуется аккаунт в Google, базовые умения работы в видеоредакторе и немного терпения.

Ниже — туториал, основанный на видео канала Homemade Memes.

Откройте ссылку в Google Colab Research.
Скопируйте код ниже и вставьте его в первом блоке.

!pip install PyYAML==5.3.1

Запустите поочередно код в первых двух блоках (кнопка Play). В первый раз выскочит предупреждение, нажмите «Выполнить».
Затем вам нужно связать с кодом свой Google Drive, куда вы будете загружать основу для ролика. Для этого запустите код в третьем блоке (под «Mount your Google drive...»).
Появится ссылка для авторизации в Google Drive. Откройте, зайдите в свой аккаунт Google — вам выдастся ключ для связки. Скопируйте его и вставьте в поле ввода в третьем блоке. Нажмите Enter.

Затем загрузите три файла (первый, второй, третий). Первые два нужны для функционирования нейросети, а третий — это ролик, на основе которого делается дипфейк.
Создайте в Google Drive папку с названием «first-order-motion-model». Загрузите в неё скачанные файлы.
Туда же загрузите лицо, на основе которого вы хотите сделать дипфейк. Картинка должна быть в формате .png c разрешением 256х256.
Переименуйте видео в «04.mp4», а картинку — в «02.png».
Вернитесь в Colab. Запустите код в блоке под «Load driving video and source image». Дождитесь выполнения.
Запустите код в блоке под «Create a model...». Также дождитесь выполнения.
Запустите код в блоке под «Perform image animation»
Если всё пройдёт удачно, создастся видео, где вместе находятся исходная картинка, ролик и готовый дипфейк. Он будет замедлен на 300%, а также в нём не будет звука.
Чтобы скачать лишь дипфейк, нажмите кнопку папки слева и выберите файл «generated.mp4». Загрузите его.
Теперь осталось в любом видеоредакторе добавить аудиодорожку из исходного ролика и ускорить видео в три раза. Дипфейк готов!

Если захотите сделать дипфейк вновь, нужно будет заново зайти на страницу Google Colab из первого пункта и вновь пройтись по всем этапам. Со второго раза это будет быстрее, так как многие из пунктов уже сделаны.

Присылайте свои мемы в комментарии!

#yakuza