Лучший метод апскейла на сегодняшний день. Еще один способ использования ControlNet

Ждал когда эта функция заработает с самого релиза версии 1.1, она казалась мне самой интересной. И не зря. За что мы любим контролнет? За то что можем генерировать по образу на высоких уровнях денойза не теряя композицию. С препроцессором tile_resample теперь мы можем делать апскейл с высоким уровнем денойза, а значит его качество и детализация станет еще выше без появления артефактов в виде лица в ноздре.

Делает он это благодаря тому что может понимать что находится на том тайле который нужно увеличить и детализировать.

Сравнение до и после апскейла всего в два раза:

Инструкция простая (если для вас она такой не кажется то пролистайте до конца статьи, оставлю полезные ссылки). У вас должен быть установлен ControlNet. Я написал про его использование уже около 4 гайдов. Для новичков есть вот такой.

Приступим.

Качаем модель для тайлинга вот тут. Нам нужна та которая содержит слово tile и конфиг файл к ней. На данный момент это control_v11f1e_sd15_tile.pth. "e" в названии значит экспериментальная, но она уже неплохо работает. Закидываем к остальным моделям контролнета.

Отправляем картинку для апскейла в img2img.

На моем примере лучшими настройками оказались вот такие:

Больший размер тайла позволил сильно поднять качество уменьшив кол-во артефактов, так как чем больше мы показываем тем лучше он понимает что изображено, тем лучше будет апскейл. И в guess mode я отдал контроль над промптом в руки контролнета.

Так же, в выпадающем меню Scripts, нам нужно активировать сам апскейлер. Тут по желанию, можно тот что идет предустановленным, SD Upscale, либо установить расширение Ultimate SD Upscale.

Я использую апскейлер Siax. Вы можете использовать тот который вам больше нравится. Хорошими апскейлерами, как их установить и другими полезными вещами мы делимся в нашем тг сообществе. В котором скоро будем праздновать 1000 человек. Присоединяйтесь.

В заключение:

Контролнет снова подтвердил звание обязательного к установке расширения. Кроме того что мы можем управлять композицией, светом, позами и другим, теперь он улучшает наш апскейл. Вы можете использовать высокий денойз, судя по отзывам до 0.7, но не забывайте и про размер плитки чтобы у него был контекст. На очень больших разрешениях могут начаться трудности так как видеопамять не резиновая, а контекста в плитку будет попадать все меньше. И самое главное. Мои настройки не единственно верные, для разных сюжетов могут понадобиться разные настройки денойза, выбора апскейлера и размера плитки. Так же не забывайте про существование настроек самого ControlNet такие как вес и гайданс старт и энд.

Мой канал с гайдами по нейросетям. Где бесплатно обучаю с нуля и до самостоятельного обучения моделей.

Если хотите быстро влиться, то у меня есть два видео, одно как установить, а второе как настроить и работать с SD.

#stablediffusion #automatic1111 #controlnet #апскейл