Новый крутой препроцессор и модель для ControlNet

TLDR: Че тут происходит вообще? Я тут делюсь своим опытом по работе с нейронками. Если тебе эта тема интересна, но ты только начал вникать загляни ко мне в профиль или в конец статьи, там есть полезные ссылки. Сейчас это может быть слишком сложным для тебя.

Если ControlNеt у вас еще нет, то в автоматике идем в Extension-Available жмем Load from. Ищем ControlNet, жмем Install. Скачиваем модели. И кидаем по пути ваша_папка_с_автоматиком\extensions\sd-webui-controlnet\models. Всё. Вы готовы. Можем начинать.

А теперь скачаем новинку. Перейдите по ссылке и скачайте t2iadapter_style_sd14v1.pth. Помещаем туда же куда и все модели контролнета.
Ваша_папка_с_автоматиком\extensions\sd-webui-controlnet\models

Не забудьте обновить сам контролнет, если давно этого не делали. На вкладке Extension.

Переходим img2txt. Сегенерируйте картинку на свой вкус, чтобы посомтреть как она выглядит без новинки.

У меня будет вот такая.

А теперь активируем контролнет. Препроцесср установите clip_vision, а модель t2iadapter_style_sd14v1.

Мои настройки (обратите внимание на Weight):

Из за вот этой картины Ван Гога, я некоторое время не мог понять как это работает, но и она же все же дала понять как. Я прогнал один промпт через десятки фотографий.

Часть образцов:

А теперь что получилось, а после расскажу как я понимаю способ его работы:

Обратите внимание как переносится стиль. Это не простой перенос цвета. Например от мужика переехали усы. А от картины "Звездная ночь" только небо и немного город. Тут я и догнал что это как мини обучение. Он понимает что это именно небо и поэтому менял мне небо. Он нашел на фотографии которая имела совсем другие пропорции усы и прилепил похожие. И тд. и тп. Что как я считаю довольно круто.

Промпт:

++++++

=

Игры с имг2имг предлагаю вам устроить самостоятельно:

Что хочется отметить. Очень важен ползунок Weight. На 1 можно даже не увидеть воздействия. Лучшие результаты я получал на диапазоне 1.05-1.4. Для разных изображений по разному. Так же рекомендую поиграть с Guidance Start\End. При высоком весе, отстрочить вступление контролнета может дать результат как выше.

П.С. Это не единственная новая модель. Есть еще color, но он просто выделяет главные цвета из изображения и накладывает на новое, делает это довольно грязно. Если хотите попробовать то по той же ссылке файл t2iadapter_color_sd14v1, а препроцессор для него color.Я провел с ним мало времени и возможно мои выводы о нем поспешны.

Поделиться результатом или задать вопрос, а так же пообщаться с единомышленниками вы можете в нашем нейробратском комьюнити.

Больше гайдов на моем канале, подписывайтесь чтобы не пропустить.

П.С. Создали онлайн интенсив для новичков. Пройдет 7 и 10 апреля 2023 года. Ознакомиться с программой и принять участие можно по ссылке.