Генерация изображения в Stable Diffusion на основе загруженного изображения пользователя

Пожалуйста, можете поделиться материалами, где рассказывается про генерацию картинки, к примеру концепт перса, на основе загруженного скетча?

Генерация изображения в Stable Diffusion на основе загруженного изображения пользователя

Чет наткнулся, как один художник генерил концепты на основе своих набросков. Вот это мне уже нравится. Мне не нужен фин вариант, хочу понять, как можно применить сетку в пайплайне. Оно уже выглядит как то, что потом можно резать на слои и доводить до ума ручками, а не копаться в месеве.

Вдруг кто практиковал подобное, поделитесь знанием пожалуйста. Так понял, это опция imagetoimage. Но как сделать так, чтобы нейросеть очень четко вела генерацию по загруженному изображению?

Генерация изображения в Stable Diffusion на основе загруженного изображения пользователя

Вот эта картинка пробудила во мне желание разобраться. Изображение достроено очень близко к исходнику. Фишка в запросе текстового сопровождения или в чем-то ином?

5353
28 комментариев

Ставишь автоматика, идёшь во вкладку img2img, закидывает исходное изображение, убиваешь промт, что должно быть... Профит.

Только лучше сначала залей скетч цветами, сетка плохо работает с лайнартом.

2

А что за "ставишь автоматика"?

1

низкий денойз

2

Что они сделали с моей ехидной стервочкой

1

Да вроде все норм.
Секундой позже она засмеется и скажет, что ты извращенец, который пялится на безобидную девушку.

2

В твоем скетче должен быть минимальный объем (тени, затенения, блики) и цвет.
Так же фигура персонажа должна сильно контрастировать на однотонно залитом фоне, что бы это работало как маска для нейронки. и она не меняла позу.
далее смотри уровень денойза, начинай с минимального 5-10% и увеличивай пока не достигнешь желаемого результата.
Ну а потом допиливай и меняй в нейронке элементы на рандомные, миксуй и допиливай ручками дальше.
Сам недавно попробовал использовать это в работе. Удалось выдержать нужную стилистику + читерская штука сэкономила времени.
З.Ы. выдаваемый результат сильно варьируется от используемой модели, так же в пожеланиях к рендеру можешь добавлять детали в промпт.

1