Temporal Kit + EBSynth + edgeOfRealism

Подход основан на методе от Tokyo_Jab. Использовался Temporal Kit для преобразования видео в сетку и обратно в видео (с помощью EBSynth).

1) Удаляем фон.

2) Изменяем размер видео до 1024x1536. Это кратно 512x768.

3) С помощью Temporal kit генерируем сетку, используя значения: Sides: 4, Height Resolution: 3072, frames per keyframe: 4, Check EbSynth Mode, Check Batch Settings > BatchRun

4) Используем img2img в пакетном режиме с настройками: Steps: 25, Sampler: DPM++ 2M, CFG scale: 7, Face restoration: CodeFormer, Size: 2048x3072, Model: edgeOfRealism_eorV20Fp16BakedVAE, Denoising strength: 0.8, Version: v1.2.0, ControlNet 0: "preprocessor: softedge_pidinet, model: control_v11p_sd15_softedge

5) Работаем с Temporal-Kit > EBSynth-process. Пользуемся read_last_settings, и ставим разрешение на выходе 1536.

6) Запускаем img2img в папке с ключевыми кадрами, чтобы добавить больше деталей. Параметры: Steps: 25, Sampler: DPM++ 2M, CFG scale: 7, Face restoration: CodeFormer, Size: 1024x1536, Model: edgeOfRealism_eorV20Fp16BakedVAE, Denoising strength: 0.1

7) Запускаем EbSynth. Автор разбил пакетную обработку по 20 кейфреймов. В Temporal-Kit есть возможность это задать при генерации сетки, но автор обнаружил, что в результате получаются неполные сетки, и это нарушает консистентность видеоряда.

8) Temporal-Kit > Recombine EBsynth.

9) Открываем видео в DaVinci, и применяем дефликер.

Реддит

Автор взял футаж отсюда.

Больше интересностей у меня в канале:

#ai #aivideo #stablediffusion #ebsynth