Пайплайн для смены позы персонажа

На самом деле особой проблемы смены позы в SDXL нет, просто при низких значениях Denoising strength, модели сложно перестроить позу т.к. для этого ей нужно материализовать "из воздуха" руку в пустом пространстве (и удалить предыдущую). Что бы облегчить модели решение этой проблемы нужно накалякать в этом месте хоть что-нибудь отдаленно напоминающее руку (либо увеличивать Denoising strength до больших величин, что ведет к допольнительным заморочкам которые в принципе решаемы, но это уже отдельная тема для разговора - см. "Рабочий Lineart-пайплайн в SDXL").

Генерим персонажа и отправлем его в имж2имж

Меняем позу

Набрасываем "глины" в выбранном месте, что бы модель могла ей воспользоваться (не надо прорабатывать детали или что-то еще, модели просто нужен материал для работы в данном месте холста)

Когда модель довольна, она с первой же попытки рисует в этом месте руку

Восстанавливаем лицо и курточку с пмощю "референса" (одновременно менять руку и пользоватья референсом не стоит т.к. возникнет конфликт интересов)

К слову, влияние опен-поуза на модель довольно слабо выражена, поэтому вы можете просто нарисовать что-то отдаленного напоминающее ту ладонь которую хотите (а не пытаться собрать ее в опенпоуз) и на финальной картинке появится именно она (если выйдет криво, просто прогоните ее несколько раз саму на себя в режиме имж2имж и она автоматически "исправится")

Методика изменения поз персонажа с минимальными потерями, на основе задействования «референса» и «опенпоза» в контролнете.
1. Генерируется персонаж в нужном антураже и в нужном разрешении.
2. Персонаж заносится в «опенпоз эдитор» и под него создается скелетик. (ВАЖНО!) при этом пользоваться скелетиками со стороны крайне нежелательно, потому как, в случае полного роста персонажа, они часто имеют изначально другие пропорции и потому создают непохожие результаты (к примеру, излишне плотных или коротконогих людей).
3. Полученному скелетику придается нужная поза и он отправляется в «тхт2имж» где он автоматически появляется в контролнете. Включаете «енебл», ставите «опенпоз» и в препоцессоре выставляете «ноне». Внизу выставляете «контролнет важнее».
4. Открываете следующую вкладку контролнета, включаете её, выставляете «референс» и заносите в него исходное изображение.
5. Проверяете, чтобы стояли настройки, которыми вы генерировали исходное изображение (промт, негатив, семплер и пр.) ничего при этом не меняя. Сид рандомный.
6. Запускаете генерацию, анализируете результаты, если поза поменялась, то дальше работаем с вкладкой референс. Если не поменялась, значит вы забыли выставить приоритет контролнета или напутали с размерами (также возможны проблемы с лорами). При этом необходимо учитывать, что стопроцентного совпадения позы персонажа с позой "скелетика" достичь весьма затруднительно. Вполне возможно, что это связано с чекпойнтом, а не с вашими настройками.
7. Референс должен сделать персонажа максимально похожим на исходник по фигуре и одежде (на лицо и антураж пока внимание не обращайте). Это самая ВАЖНАЯ часть! Варьируйте приоритетом важности промта или контролнета (может быть и так, и так), а также ползунками «Control Weight» и «Style Fidelity (only for "Balanced" mode)». Но в конечном итоге, персонаж должен обязательно получится!
8. Когда он получится, выяснится, что по типу лица он вроде такой же как исходник, но все-таки отличается. Это нормально! Включаете «руп» (если кто им ешё пользуется) или «фейслаб» и ставите на оба изображения заранее заготовленное лицо персонажа, которое у вас обязательно должно быть!
9. «Допилинг в фотошопе». Сравниваете два изображения и обнаруживаете, что если персонаж одинаковый, то антураж не совсем. В принципе, он на обоих изображениях такой же, но процентов на семьдесят отличается. То есть, если имеется река, то она будет на обоих изображениях и будет течь в одном направлении, но конфигурация берегов будет чуть иной , если есть деревья, дома и пр. то они будут на одинаковых местах, но тоже будут немножко другие.
10. Выбираете тот антураж, который вам больше подходит и переносите его на другое изображение в фотошопе с помощью масок (это самая эффективная техника). Но если кто этим не владеет, то это нестрашно, так как можно примитивно стереть резинкой лишнее и подставить вместо него нужное.
11. Дальнейший «допилинг» осуществляется уже стандартными средствами фотошопа (точечное удаление ненужных артефактов, штамп, палец и пр.)
На этом всё.
С помощью данной методики можно РЕАЛЬНО изменить позу персонажа сохранив его облик и окружающий антураж, что, зачастую, является главной целью иллюстраторов.