Лучший метод апскейла на сегодняшний день. Еще один способ использования ControlNet

Ждал когда эта функция заработает с самого релиза версии 1.1, она казалась мне самой интересной. И не зря. За что мы любим контролнет? За то что можем генерировать по образу на высоких уровнях денойза не теряя композицию. С препроцессором tile_resample теперь мы можем делать апскейл с высоким уровнем денойза, а значит его качество и детализация станет еще выше без появления артефактов в виде лица в ноздре.

Делает он это благодаря тому что может понимать что находится на том тайле который нужно увеличить и детализировать.

Сравнение до и после апскейла всего в два раза:

Инструкция простая (если для вас она такой не кажется то пролистайте до конца статьи, оставлю полезные ссылки). У вас должен быть установлен ControlNet. Я написал про его использование уже около 4 гайдов. Для новичков есть вот такой.

Приступим.

Качаем модель для тайлинга вот тут. Нам нужна та которая содержит слово tile и конфиг файл к ней. На данный момент это control_v11f1e_sd15_tile.pth. "e" в названии значит экспериментальная, но она уже неплохо работает. Закидываем к остальным моделям контролнета.

Отправляем картинку для апскейла в img2img.

На моем примере лучшими настройками оказались вот такие:

Лучший метод апскейла на сегодняшний день. Еще один способ использования ControlNet

Больший размер тайла позволил сильно поднять качество уменьшив кол-во артефактов, так как чем больше мы показываем тем лучше он понимает что изображено, тем лучше будет апскейл. И в guess mode я отдал контроль над промптом в руки контролнета.

Так же, в выпадающем меню Scripts, нам нужно активировать сам апскейлер. Тут по желанию, можно тот что идет предустановленным, SD Upscale, либо установить расширение Ultimate SD Upscale.

Лучший метод апскейла на сегодняшний день. Еще один способ использования ControlNet

Я использую апскейлер Siax. Вы можете использовать тот который вам больше нравится. Хорошими апскейлерами, как их установить и другими полезными вещами мы делимся в нашем тг сообществе. В котором скоро будем праздновать 1000 человек. Присоединяйтесь.

Лучший метод апскейла на сегодняшний день. Еще один способ использования ControlNet

В заключение:

Контролнет снова подтвердил звание обязательного к установке расширения. Кроме того что мы можем управлять композицией, светом, позами и другим, теперь он улучшает наш апскейл. Вы можете использовать высокий денойз, судя по отзывам до 0.7, но не забывайте и про размер плитки чтобы у него был контекст. На очень больших разрешениях могут начаться трудности так как видеопамять не резиновая, а контекста в плитку будет попадать все меньше. И самое главное. Мои настройки не единственно верные, для разных сюжетов могут понадобиться разные настройки денойза, выбора апскейлера и размера плитки. Так же не забывайте про существование настроек самого ControlNet такие как вес и гайданс старт и энд.

Мой канал с гайдами по нейросетям. Где бесплатно обучаю с нуля и до самостоятельного обучения моделей.

Если хотите быстро влиться, то у меня есть два видео, одно как установить, а второе как настроить и работать с SD.

7070
18 комментариев

Только сегодня ковырялся в апскейлах, и действительно топовый результат через CN получился)

3
Ответить

Что-то как-то стрёмно, когда апскейл ещё и изменяет картинку на своё усмотрение

2
Ответить

В этом и смысл. Уменьши денойз и не будет, ну или будет на достаточном для тебя уровне

1
Ответить

Там значение denoise обозначает степень "креативного вмещательства" нейросети, т.к. детали выдумываются из ниоткуда, при высоком значении картинка меняется в деталях. Собственно, опытным путем подбираются удачные настройки. К сожалению параметров море, во всем этом тонешь.

Ответить

Вот нафига Контролнет с тайлингом, если SD Upscale итак дает тайлинг, в чем прикол?

Ответить

Контрол учитывает то что изображено. Обычный тайлинг этого не делает

1
Ответить

Комментарий недоступен

Ответить