Stable Diffusion UniPC: практический тест нового сэмплера

Чо за новый сэмплер?

Получаем автообновление или делаем git pull - новый сэмплер встроен в базовый пакет AUTOMATIC1111 WebUI.

Вкратце - мы получили супер быстрый сэмплер выдающий хороший результат

Интерпретация промпта похожа на Heun, PLMS и похожие на них сэмплеры.
Интерпретация промпта похожа на Heun, PLMS и похожие на них сэмплеры.

Тут Heun на 30% медленнее UniPC

А если выключить HiRez то получаем 13.29 сек. против 9.63 сек. Heun vs UniPC соответственно.

И это на 8 шагах сэмплера. Если взять более стандартные 32 шага, то разрыв будет 36.22 сек. против 21.85 сек. - ~45%!

Тесты UniPC при низких шагах сэмплера

Мы на UniPC пришли за скоростью, так давайте посмотрим насколько сильно его можно урезать оставаясь в диапазоне приемлемых результатов.

Сразу оговорюсь, что я использую UniPC в настройке UniPC variant: bh1, UniPC skip type: time_quadratic, UniPC order: 3, UniPC lower order final: true.
Тест вариантов и тайпов делал всего один и качественной разницы не особо заметил (разве что logSNR выдал синюю шляпу, а vary_coeff проматерился на меня в консоли)

Итак, тесты

С хорошим промптом хороший результат можно получить уже на 6 шаге, но более стабильными являются результаты с 8-10 шагов. Однако, на маленьких шагах спасает высокий денойз апскейлера.

Stable Diffusion UniPC: практический тест нового сэмплера

Особенно если поставить нашему апскейлеру не 10 шагов, а 15 или 20.

prompt: king,peach,painting - мы в очередной раз убедились, что нейронки любят котиков
prompt: king,peach,painting - мы в очередной раз убедились, что нейронки любят котиков

Насчёт апскейлера:

  • я люблю Swin_4x, но он медленный;
  • latent нарисовал коту человеческие глаза;
  • 4x_valar может быть немного детальней;
  • но он всё равно немного медленнее чем R-ESRGAN 4x+ который и используется в сегодняшнем тесте.
Мне понравились результаты при 8 sampler steps, 15 upscaler steps, 0.95 denoising
Мне понравились результаты при 8 sampler steps, 15 upscaler steps, 0.95 denoising

Но нельзя забывать, что многое зависит от правильно составленного промпта

Stable Diffusion UniPC: практический тест нового сэмплера

В зависимости от промпта разница количества шагов может быть маленькой

Stable Diffusion UniPC: практический тест нового сэмплера

Кстати про высокий денойз: он немного глушит авторский стиль типа by Author Name. Или мне просто кажется? 🤔

Stable Diffusion UniPC: практический тест нового сэмплера
Stable Diffusion UniPC: практический тест нового сэмплера

UnIPC на разных моделях (checkpoints)

Напоследок сравним работу разных моделей.

  • UniPC, 8 steps, 512x512
  • R-ESRGAN 4x+, 15 steps, x1.25 up to 640x640
  • На RTX 3070 ~7 сек./картинку
Stable Diffusion UniPC: практический тест нового сэмплера
Stable Diffusion UniPC: практический тест нового сэмплера
Stable Diffusion UniPC: практический тест нового сэмплера
Stable Diffusion UniPC: практический тест нового сэмплера

Итог

Я буду использовать данный сэмплер в тех случаях, когда мне нужно сгенерировать более сотни картинок за раз, но полной заменой других сэмплеров он не стал.

Stable Diffusion UniPC: практический тест нового сэмплера

UPD: убран NSFW контент

887887 показов
557557 открытий
Контент для взрослых
10 комментариев

Комментарий недоступен

Ответить

Ни хрена не понятно, но картинки прикольные.

Ответить

Спасибо за пост.

Ответить

👌

Ответить

Тема сисек раскрыта не полностью.
Спасибо за статью.

Ответить

(. ❛ ᴗ ❛.)

Ответить

Спасибо. Надо обновиться и попробовать. Иногда хочется побыстрее генерить для пробы разных настроек.

Ответить