Stable Diffusion + mov2mov + FILMКак такое сделать самому:1) Скачайте это расширение для Automatic1111 *Опционально*: репозиторий выше поддерживает ModNet — это автоматическая ротоскопия для вашего видео с помощью AI. Говорят результаты не ахти, но если что можно заюзать (ссылка раз или два) 2) Запустите mov2mov расширение. Работает как img2img только для видео. Поддерживает лоры, эмбединги, апскейлинг, MultiControlNet и другие скрипты.а) В Img2Img выбираем кадр из видео, пишем промт, настраиваем CFG, денойз (автор ставил 0.2) и ControlNet. Затем вручную копируем каждую настройку в mov2movб) Размер пикселя везде должен быть одинаковымв) ControlNet ставим просто в режим Enabled без входного изображения. Map size такого же разрешения как на видео вверху (450х720)г) Нажимаем Generate — скрипт автоматически декодирует видео, берет кадры, проталкивает их через конвейер Img2Img, и запускает на них другие скрипты. д) Получаем кадры и видео в папках /mov2mov-videos и /mov2mov-images3) Последний шаг это интерполирование видео (повышение кадров в секунду дабы сделать видео плавней). Так мы скрываем мерцание (зависит от шумоподавления) и помогаем сократить время рендеринга: у автора 10 секундное видео 15 к/с рендерилось 10 минут. а) Интерполируем либо с помощью Flowframes, используя в настройках модель RIFE 4. Бесплатная версия 1.36 вполне рабочая. б) Либо через репозитарий FILM от Google. У автора не получилось установить его локально, так что он воспользовался колабом и на интерполяцию видео в шапке у него ушло 16 минут. в) Есть ещё EncodeGUI. Он использует комбинацию SVPFlow и RIFE, чтобы обеспечить неинтегральные коэффициенты умножения интерполяции. Чутка быстрее RIFE. Взято с реддитаБольше интересностей у меня в канале t.mePsy EyesКреатив + AI + Web3... и мемы Личная страница @andrey_bezryadin#aiart #stablediffusion #aivideo
Привет) я тут прям очень новенькая, потихоньку за всем поглядываю) круто, это через контролнет?
салют, да
а какой метод лучше этот или этот https://www.reddit.com/r/StableDiffusion/comments/12xhd2t/experimental_ai_anime_w_cnet_11_groundingdino_sam/ ?
всё очень быстро меняется, вот этот метод пожалуй выглядит лучше чем эти оба
https://dtf.ru/s/595875-neyro-iskusstvo/1799921-release-the-kraken