Потому, что мы - БАНДА!

Пока экспериментировал с IP адаптерами, насобиралась целая ирландская котобанда... )))
Вообще суть этих "мутаций" в том, что каждого из персонажей в совю очередь можно использовать в качестве "модели" для IP адаптера (т.е. получить серию генераций с одним и тем-же персонажем). Конечно далеко не все так просто и использование IP адаптера задачка нетривиальная. К сожалению это пока не тот "идеальный инструмент" который сам за вас все сделает.

Так что самый правильный подход - быстрая генерация нужной сцены с "людьми" (или чему там модель хорошо обучена и не пытается этого персонажа из сцены удалить), затем их детализация и лишь на последнем этапе подмета исходного пероснажа на вашего "IP кота" и требуемую одежду в режиме inpaint.