ControlNet | img2img на стероидах (но не совсем) | Stable Diffusion

Давненько я не писал, как-то всё занят то работой, то исследованием всяких всячин в SD. А иногда мне просто лень, конечно же.

Буквально пару дней назад запилили ControlNet в качестве расширения для AUTOMATIC1111, это очень важная, от части прорывная штука.
Но что это такое, и почему вы внезапно должны скачать 40 гигабайт моделей, что бы полноценно её использовать?

Дисклеймер
Маняме наше всё. Но думаю, вы уже привыкли. Данное расширение работает для всех видов картинок. Ссылки на SD1.5 версии, как и краткий комментарии о том, как смержить данные модели на вашу собственную - далее в статье.
UPD: теперь можно не качать 40 гигов моделей. Возможно накладывать на лету.

Если кратко, то это надстройка над вашей основной моделью, которая в той или иной мере, тем или иным путём управляет основной генерацией. Почему я назвал это img2img на стероидах? Потому что для использования любой из моделей нужна картинка, которая послужит базисом для той или иной кондиции.

На данный момент есть 8 моделей, которые контролируют генерацию:

Canny, Depth, HED, M-LSD, Normal, OpenPose, Scribble и Seg.

Определённо плюсом использования данного расширения является возможность генерировать намного более крупные изображения без хайрез фикса(который с этим расширением не работает), что определённо позитивно влияет на качество, так как при хайрез фиксе мы используем не полный денойз.

Минусом является скорость. При стандартных +- размерах, скорость генерации, лично у меня, упала примерно в 5-6 раз. Получше на более высоких разрешениях, что, учитывая то, что хайрез фикс ненужон - более чем терпимо. Мне удавалось сделать картинки 768х1280 без особых проблем, скорее всего и 1536 возможно, но у меня сейчас не включен medvram, что бы проверить.

Дополнительной, можно сказать, фишкой, я бы назвал возможность использования техники силуэтов img2img через различные модели, всегда имея максимальный денойз, но при этом иметь отдельный регулятор для силы референса - если вы сейчас поняли о чём я, то наверняка уже бежите устанавливать, если часто пользуетесь данной техникой.

Что будет использовано при генерации далее

Интерфейс - AUTOMATIC1111
Модель - Личный микс. База: ACertainModel микшенная с AniReal через мержинг отдельных блоков с последующим блочным мержем около 36% AOM2(по большей части отдельные блоки, с низким миксом остальных)
(Что-то на сложном, вам это не надо, просто скачайте AOM2(или любую другую модель, которая вам нравится) и радуйтесь жизни(прошу вас...))
Собственно, ControlNet расширение.
Модели и препроцессоры расширения будут указаны.
Гиперсети - нет
Эмбеддинг - Рем

Промпт значения не имеет, так как основа информации заложена в картинке. Хотя при низком весе - да, имеет. Везде один и тот же, никаких деталей, кроме базы и эмбеддинга персонажа нет.

Требования

Минимум 4 гига памяти при моде low vram в расширении и --xformers.
Скорее всего гиперсетки(крупные) вы применить не особо сможете, если применяете. Автор расширения утверждает, что возможна генерация вплоть до 768x832 в таком сетапе.
На 8 гигах в моде low vram(рекомендован для 8 и ниже), с xformers спокойно генерирует примерно 1280х960 при флаге --no-half-vae, возможно выше.
Видеокарты с большим количеством памяти у меня, по причине бедности, нет.(Да и какая разница, если честно...)

Конвертирует базу в немного странный скетч, линии которого шумные. В основном ищет границы объектов.
Препроцессор - canny.

Карта глубины не новая штука, и они уже давно применяются для img2img, хотя я лично потестил их пару раз и забил. Но применение в txt2img это куда лучше, и вот этим уже можно пользоваться на постоянке.
Препроцессор - midas.

Похож на Canny, но мягче. Так же ищет границы.
Препроцессор - hed.

(Отказался работать сегодня, поэтому скриншот с официального гитхаба)

Использует карту глубины для построения карты нормалей.
Препроцессор - midas.

Одна из самых важных моделей в ControlNet, имхо.

Пытается определить позу персонажа. Работает не всегда, возможно обязательны руки в кадре, так как это является параметром вообще генерации в коде(is_hand = false/true). Если они не найдены - ничего не будет(но это не точно).
Я хотел посмотреть, какие есть параметры для препроцессоров в коде(подсказка на гитхабе расширения), но их там не было для этой модели, жалко.
Препроцессор - openpose.

Создаёт изображение на основе скетча. В данном случае использован препроцессор fake_scribble, что бы сгенерировать его на основе существующей картинки.

Наверное самый полезный, если вы собираетесь использовать SD как инструмент для создания оригинального арта на основе своих собственных работ.
Препроцессор - без/fake_scribble.

На этом модели которые я сам скачал закончились, поэтому скриншоты будут с гитхаба.

Данная модель ищет прямые линии. Полезна для архитектуры, может различных мехов, может быть оружия. Всего, что сделано из прямых линий.
Препроцессор - mlsd.

с.(Простите)

Данная модель создают сегментированный референс на основе картинки. То есть делает цветовую маску оригинальной картинки, на основе которой уже генерируется новое изображение.
Препроцессор - без.

Модели обычной SD можно скачать тут:

Модели на базе Anything3 тут:

ОТДЕЛЬНЫЕ МОДУЛИ UPD(работают с любой моделью на базе SD1.х) -

Не мержте, юзайте отдельные, но инструкцию оставлю.
Так же вы можете замержить их сами через Add Difference используя такой рецепт: Целевая модель + SD1.5 Control модель - SD 1.5 с силой 1.Но учитывайте, что эти модели могут содержать ошибки, так как тренировались на базе SD1.5, а не вашей целевой модели.

Просто берём какой-либо референс, ставим низкий вес, в данном случае 0.1, используем какую-либо из скетчевых моделей и смотрим на результат.

Или можно модель глубины

В общем как-то так.

Далее эти картинки могут стать отличнейшим материалом для апскейла.

Я как раз тренировал пару очень узконаправленных моделей, для апскейла отдельных частей картинок, для последующего совмещения в фотошопе через маски. Если кратко - работает, результат не сильный, но позитивный. Но вообще к теме статьи это не относится. Возможно стоит сделать отдельную, но мне лень.

Расширение отличное, используйте. Но держите в уме, что скорости придёт конец(на видеокартах с 8 и ниже гигами). Но и хер бы с ней.

Если у вас есть любимые хентай арты, но вы хотели бы заменить на них персонажа, или сделать вариации - это идеальное расширение для вас(в пределах разумного) ;)

#StableDiffusion