Как вписать человека в любое фото с помощью Stable Diffusion и Automatic1111
Как вписать человека в любое фото с помощью Stable Diffusion и Automatic1111
7070

из полезного только информация как органично вписать любой объект с сохранением бэкграунда.
Девочка получившаяся только формой лица похожа на 3д модель. Раз возникают у тебя проблемы с руками, то используй библиотеку поз на том же civitai, либо сам создай позу через control_net по depth (влияние веса поставить на 0,8-0,9 чтобы не было сильно привязано к силуэту и ограничивало в генерации типов одежды). Лучше человека сгенерировать с правильными руками сразу, чем через инпэйнт потом это всё править. Лицо гораздо проще через инпэйнт в увеличенной размере прогнать (only masked).
Я бы делал так 3 фото прогнал через лору натренировал там. При генерации использовал позу с civitai (либо с любой фотографии похожей девчушки, с вырезом бэкраунда). При генерации бы получалась девочка у которой форма головы, волосы, цвет +- была похожа на мою обученной по лора. Потом бы лицо прогнал через инпэйнт. С лицом возможно пришлось бы повозиться, если бы ракурс сильно отличался от того на чем тренировал. Но это явно проще чем возиться с руками. Если бы мне нужна была конкретная одежда, то натренировал бы на ней Textual inversion или лора отдельно.
Не забывайте принцип обучения нейронок - shit in, shit out. Если 3д модель корявая и не похожая на наш объект то и на выходе придется корпеть и править все эти косяки чтобы получился человек который нам нужен.
Есть еще вариант который иногда использую. Обучаю также лору на лице. Потом лицо человека прогоняю через сервисы - яндекс картинки, либо на какую знаменитость похож этот человек. И пробую сгенерировать эту знаменитость через stable diffusion просто в промтах использую имя и фамилию знаменитого человека и получается +- то что мы хотим, потом только лицо прогоняю инпэйнтом с натренированной лорой с минимум правок.

7
Ответить

Офигенные инсайты! 👏👏👏

1
Ответить

Можете записать видео как вы работаете с лицом, чтобы оно было похоже, пожалуйста? Интересует как сделать лицо на ростовой фигуре человека если просто с помощью Лоры не получается

Ответить