Они-чан смотри я стала плавней — НейроИскусство на DTF

Stable Diffusion + mov2mov + FILM

Как такое сделать самому:

1) Скачайте это расширение для Automatic1111

*Опционально*: репозиторий выше поддерживает ModNet — это автоматическая ротоскопия для вашего видео с помощью AI. Говорят результаты не ахти, но если что можно заюзать (ссылка раз или два)

2) Запустите mov2mov расширение. Работает как img2img только для видео. Поддерживает лоры, эмбединги, апскейлинг, MultiControlNet и другие скрипты.

а) В Img2Img выбираем кадр из видео, пишем промт, настраиваем CFG, денойз (автор ставил 0.2) и ControlNet. Затем вручную копируем каждую настройку в mov2mov

б) Размер пикселя везде должен быть одинаковым

в) ControlNet ставим просто в режим Enabled без входного изображения. Map size такого же разрешения как на видео вверху (450х720)

г) Нажимаем Generate — скрипт автоматически декодирует видео, берет кадры, проталкивает их через конвейер Img2Img, и запускает на них другие скрипты.

д) Получаем кадры и видео в папках /mov2mov-videos и /mov2mov-images

3) Последний шаг это интерполирование видео (повышение кадров в секунду дабы сделать видео плавней). Так мы скрываем мерцание (зависит от шумоподавления) и помогаем сократить время рендеринга: у автора 10 секундное видео 15 к/с рендерилось 10 минут.

а) Интерполируем либо с помощью Flowframes, используя в настройках модель RIFE 4. Бесплатная версия 1.36 вполне рабочая.

б) Либо через репозитарий FILM от Google. У автора не получилось установить его локально, так что он воспользовался колабом и на интерполяцию видео в шапке у него ушло 16 минут.

в) Есть ещё EncodeGUI. Он использует комбинацию SVPFlow и RIFE, чтобы обеспечить неинтегральные коэффициенты умножения интерполяции. Чутка быстрее RIFE.

Взято с реддита

Больше интересностей у меня в канале