Связать ИИ и реальность?

Привет дтф! (с первым постингом меня наверное) Вхожу в комьюнити DTF и StableDiffusion с широкой ноги и сразу с узкоспециализированным вопросом.
Чтобы понять контекст и заинтересовать вас данной задачей постараюсь расписать идею и пути реализации к которым я прибегнул.

Попыточки попытки?
Попыточки попытки?

Идеи для реализации

Изначальная идеальная реализация к которой стремлюсь: Очень простой фотосет одежды (без актрисы) -> обучения LORA -> использование заготовленной выдуманной модели и «одевание» оной в заранее отснятую одежду через лору.

Реальность и к чему стремлюсь в моменте: Реализация простого фотосета (с актрисой) -> изменения фона и правильная интеграция модели в контекст фона аки перемещение со скучного белого фона на песчаные пляжи Абу Даби -> изменение некоторых деталей (одежда, причёска и тд)

Попытки решения

Я недавно в лиге сд, и уже понимаю как работают различные модели, разобрался в терминологии и на данный момент остановился на сд 1.5. Сейчас я пытаюсь реализовать пайплайн через контролнет. Создаю маску глубины и далее иду в img/img inpaint upload. Но тут я сталкиваюсь с очень серьёзной стеной, фон — белый. Хоть и качество фото в исходнике адекватное — очевидно сд не может правильно выстраивать маску так, чтобы были хорошие грани, глубина и так далее. А сам он чаще всего не понимает нужный масштаб.

Связать ИИ и реальность?

Также пытался решить вопрос через InPaint Anything, но там получается ооооочень резкая маска, которая буквально режет пиксели.

Связать ИИ и реальность?

Результат есть, но я бы не сказал, что он удолетворительный + с помощью сд 1.5 (лично у меня разумеется, а я только ньюфаг в этой теме) не всегда получается добиться хороших фотореалистичных изображений, но я осознаю, что мне ещё предстоит перебрать много промтов, посмотреть достаточно обучающих материалов и перелопатить всю достойную внимания часть гитхаба.

Используемые чекпойнты (в том числе инпейнт чекпойнты)

Связать ИИ и реальность?

Стабильные, но чередующиеся позитивные и негативные промты:

P.prompt (1): Best quality, masterpiece, ultra high res,photorealistic,(wide shot:1.4),detailed light,detailed photo, cinematic light, finely_detailed, intricate_details, detailed_background

P.promt (2): ultra realistic 8k cg, flawless, clean, masterpiece, professional artwork, famous artwork, cinematic lighting, cinematic bloom

Negative prompt (1): (worst quality, low quality, normal quality, lowres, low details, oversaturated, undersaturated, overexposed, underexposed, grayscale, bw, bad photo, bad photography, bad art:1.4), (watermark, signature, text font, username, error, logo, words, letters, digits, autograph, trademark, name:1.2), (blur, blurry, grainy), morbid, ugly, asymmetrical, mutated malformed, mutilated, poorly lit, bad shadow, draft, cropped, out of frame, cut off, censored, jpeg artifacts, out of focus, glitch, duplicate, (airbrushed, cartoon, anime, semi-realistic, cgi, render, blender, digital art, manga, amateur:1.3), (3D ,3D Game, 3D Game Scene, 3D Character:1.1)

Negative prompt (2): (worst quality:2), (low quality:2), (normal quality:2),Erotic,nsfw, lowres, bad anatomy,(watermark),(sauteed tap),bad hands, normal quality, ((monochrome)), ((grayscale)),text,2 faces, cropped image, deformed hands, twisted fingers, long neck, extra limb, poorly drawn hands, missing limb, disfigured, blurry, bad anatomy, mutilated, surreal, extra fingers, distorted face, draft, grainy,watermark, moles,(((people))), ng_deepnegative_v1_75t

Итог?

Результат есть, но я бы не сказал, что он удолетворительный + с помощью сд 1.5 не всегда получается добиться хороших фотореалистичных изображений, но я осознаю, что мне ещё предстоит изучить очень-очень много промтов.
В итоге я имею кучу кастомный масок из фотошопа, попытки сделать четкие грани там же, но из-за этого теряю логичность изображения.

Комьюнити, есть идеи как решить подобную задачу? Обучающий уроков по замене фона с существующей моделью, которая стоит (а это очень важно и в этом основная проблем) я не нашёл.

Дополнительные материалы которыми я недоволен

55
17 комментариев

Рекомендую, лучший инструмент для создания карт глубины и замены фона.

3

Мне нравится что тут есть пример с импользованием ног и взаимодействия с полом. Обязательно буду тестировать.
Важный факт, проблем с созданием качественных беков в рамках среднего и крупного кадра нету, тут не требуется четкого понимания того как должна быть интегрирована модель и в целом можно достичь идеального результата даже без фотошопа (почти).

1

Энивей бигсенкс за ролик!

1

Нормальная у неё жопа...

Я тебе больше скажу, комунити сд буквально развивается на жопах и глубже)

1

Фотошоп отменили?

фотошоп не отменяли как и скорость разработки на потоке. Ну и справедливости ради я не настолько скиловый чтобы прифотошопить адекватно инвайрмент, так ещё и который мне вздумается.