Как быстро расширить границы изображения в Stable Diffusion, Automatic1111. Быстрый outpainting
Посмотрел видео Хачатура по генерации широкоформатных изображений, но метод мне его показался не идеальным, так как маска, нарисованная вручную, часто давала артефакты по ее краям + приходилось рисовать ее руками, что не круто. Представьте, что вам нужно проработать все отверстия, неровности и т.п. Слишком долго и муторно.
В связи с этим я вспомнил про такое расширение, как depthmap2mask, которое само будет создавать маску, а нам останется лишь поправить мелкие косяки и выделить лицо.
Что нам понадобится?
Также нужно поставить расширение depthmap2mask — устанавливается оно через раздел Extensions.
Собственно, это все, нам нужно лишь расширение и автоматик.
Перейдем к практике
Первым делом либо генерируем персонажа на каком-либо фоне, либо загружаем уже существующее изображение в раздел img2img. Я создам свою девчулю с нуля, поэтому перемещусь во вкладку txt2img.
Далее переношу ее в раздел img2img, где нам и понадобится применить скачанное расширение. Предупрежу, что модели из этого расширения будут скачиваться долго, поэтому запаситесь терпением.
Выбираем из представленных алгоритмов самый первый — dpt_beit_large_512, а уровень Denoising Strength выставляем на 0.
Еще нужно поставить галочку в пункте Invert DepthMap, чтобы предметы ближе были черными, а дальние белыми — так правильно, даже писал гайд на эту тему.
Как только все сделали, жмем Generate. У нас появится исходное изображение и его маска.
Переходим во вкладку Inpaint upload и наверх загружаем исходник, а вниз маску.
Далее кликаем по разделу Sketch, и перетаскиваем в него нашу карту глубины. Не забывайте отключить расширение, оно нам больше не понадобится. Кистью закрашиваем поля по бокам белым цветом, а лицо черным.
Теперь меняем нашу предыдущую маску на новую.
И финальный штрих — ставим Resize mode на Resize and fill, чтобы края по бокам изображения заливались новым содержимым. Далее выставляем ширину нашего изображения, к примеру, на 1216 пикселей, а параметр Denoising Strength заменяем на 0,65 или выше. Если ставить деноиз ниже этого значения, то пиксели по краям будут растягиваться, что нам не подходит.
Вот, что получилось у меня во второй раз. Работает данный метод хоть на реалистичных фото, хоть на артах — совершенно без разницы.
Это изображение уже можно дорабатывать в разделе Inpaint, выставив параметр Inpaint area на Inpaint masked. Вот что у меня получилось после обработки.
Принцип такой: вы закрашиваете сначала лицо — работаете с ним, затем перекидываете полученный результат обратно в Inpaint, после чего дорабатываете уже украшение на груди, и т.д.
Для тех, кому интересно, стиль я использовал художницы Kelly Vivanco.
Congratulations, вы справились!
Теперь кто-то умеет расширять границы фото и генераций с помощью лучшего фреймворка для Stable Diffusion на сегодняшний день. Буду рад обратной связи и вашим комментариям, а также приглашаю в свой телеграм чат, где отвечу на все вопросы касаемо SD.
Буду рад видеть вас в телеграм-канале, где я собираю лучшие гайды по Stable Diffusion. А если не найду, то пишу сам.