Обновление FaceFusion v3.0.0 — ультимативной нейросети для дипфейков

Всем привет!

В этой статье взглянем на FaceFusion версии 3.0.0 — мощный инструмент для замены лиц на изображениях и видео!

Для использования понадобится всего лишь фотография в профиль. Также в статье расскажу, как не париться с установкой и запустить FaceFusion в один клик.

Основные возможности FaceFusion:

Замена лиц на фото и видео;
Улучшение качества лиц и кадров;
Раскрашивание черно-белых видео;
Синхронизация губ (Lip-sync);
Поддержка нескольких моделей для замены лиц;
Настройка параметров обработки;
Работа с несколькими лицами в кадре.

А в последней версии добавлено следующее:

Добавлена возможность изменения возраста;
Улучшение качества пикселей для алгоритмов замены лиц;
Live Portrait улучшает выражения лиц на фотографиях;
Порядок выбора лиц теперь учитывает возраст, пол и другие параметры;
Новые видеокодеки h264_videotoolbox и hevc_videotoolbox;
Исправлено качество изображений формата webp;

и другие улучшения и изменения, весь список вы можете прочесть на GitHub.

1. Source — источник, сюда мы подгружаем лицо, на которое будем заменять. В данном случае это моя фотокарточка.

2. Target — изображение или видео, на котором мы хотим заменить лицо.

3. Output — результат генерации.

Trim Frame — (появляется при работе с видео) обрезка кадра, если не нужно делать видео полностью.

4. Face Selector Mode — режим селектора лица, то есть выбор лица для свапа.

Режимы селектора лица:

Режим reference — заменяем выбранное эталонное лицо в reference face.
Режим one — меняет лицо в соответствии с параметрами, о которых ниже, по умолчанию заменяет самое левое лицо в кадре.
Режим many — меняет все лица в кадре.

5. Face Mask Types — тип масок лица. Особо ничего не меняет, можете посмотреть, как он работает наглядно, включив face_debugger, о котором ниже. У типа region можно выбрать, какие элементы лица не менять (например рот, тон кожи, нос, верхнюю губу и т. п.).

Блок Face Mask Padding помогает сдвигать маску по горизонтали и вертикали, но лично мне это ни разу не пригодилось.

6. Face Detector Model — модель детектора лица, поможет анализировать лица разными способами (например, слева-направо, сверху вниз, от маленького к большому и т. п., а также по полу и возрасту). И если, к примеру, вы выбрали режим селектора лица one, то он будет детектить только нужные лица в соответствии с этими настройками.

7. Процессоры кадров

face_swapper — заменяет лицо.

face_enhancer — улучшение лица.

frame_enhancer — улучшение всего кадра.

age_modifier — изменение возраста.

frame_colorizer — окрашивание черно-белых изображений и видео.

face_debugger — отображение типов масок лица.

expression_restore — помогает сделать выражения лиц более эмоциональными после замены.

Вы можете использовать один или сразу несколько процессоров кадров.

Для каждого процессора кадров есть свои модели и все они работают по-разному. Экспериментируйте и пробуйте разные!

Face Swapper Model — модели замены лица. Самая часто использумая — inswapper_128_fp16, она чуть быстрее чем обычный inswapper_128.

Face Enhancer Model — по аналогии, модели для улучшения лица. Я предпочитаю gfpgan_1.4.

Ну и для остальных процессоров также есть свои модели. Они появляются после того, как вы добавите один из процессоров кадров.

Если при выборе модели у вас в терминале выскакивает надпись, что модель отсутствует, просто внизу страницы уберите галочку со skip_download, она мешает скачиванию модели.

Execution providers — среда выполнения. Если у вас видеокарта NVIDIA, то выбирайте режим Cuda. CPU, соответственно, использование ресурсов процессора.

Execution Thread Count — количество потоков выполнения. Желательно выставлять побольше, но не рекомендую ставить в самый потолок.

Video Memory Strategy — стратегия видеопамяти. Не рекомендую его менять от слова совсем, в крайнем случае у вас просто вся видеопамять будет загружена. Также не рекомендую изменять Output Video Resolution и Output Video FPS, так как они задаются автоматически, когда вы подгружаете видео или gif.

Блок Options:

keep-temp — сохраняет нарезанные кадры.
skip-audio — позволяет не использовать звуковую дорожку на видео.

Остальные параметры не особо интересные, либо особо ни на что не влияют, поэтому двигаемся далее!

Как вы уже поняли, FaceFusion работает и с изображениями, и с видео (и даже с видео со звуком), действительно ультимативная нейросеть для дипфейков. В последнем обновлении так же добавили модификатор возраста, сейчас посмотрим, на что она способна!

Начнем от простого к сложному.

Очень интересно, давайте попробуем поиграться с функцией восстановления цвета:

Еще один пример с еще одной известной личностью:

Также в этой версии добавили процессор age_modifier, давайте посмотрим, как он работает

Вот статичный и более наглядный пример:

Ну и даже с разными тонами кожи нейросеть справляется хорошо:

Ну и если нужно заменить МНОГО лиц, да еще и с восстановлением цвета, то пожалуйста (кстати, еще добавил expression_restorer, а то уж больно скучные лица были).

В заключение хочется сказать, что FaceFusion очень мощный и полезный инструмент, который может пригодиться всем, кто так или иначе сталкивается с созданием или публикацией контента.

Поэтому используйте ПО исключительно в позитивном ключе, придерживаясь этики и закона:

Не используйте лица людей без их явного согласия.
Избегайте применения для обмана или введения в заблуждение других лиц.
Воздержитесь от использования в коммерческих целях без соответствующих разрешений.
Не создавайте контент, порочащий репутацию или унижающий достоинство других людей.
Не применяйте технологию для создания фальшивых новостей или дезинформации.
Избегайте использования в целях политической пропаганды или манипуляции общественным мнением.
Не используйте для создания порнографического контента без согласия.
Воздержитесь от применения в ситуациях, где требуется подтверждение личности (например, при онлайн-экзаменах или собеседованиях).
Не используйте для обхода систем безопасности или аутентификации.
Избегайте создания контента, нарушающего авторские права или интеллектуальную собственность.

Помните, что ответственность за его использование лежит на пользователе. Применяйте технологию этично, уважая права и достоинство других людей

Чтобы установить FaceFusion, достаточно скачать нашу портативную версию с установкой в один клик.

Перед установкой отключите антивирус, он ругается на самораспаковывающийся архив. Если переживаете, то скачивайте 7z-архив, который нужно просто разархивировать в любое удобное место.