Начинаем разбираться с inpaint controlnet
Инструмент мощный и работает примерно так-же как и все модели контролнет. Пытается сохранить (в данном случае "дорисовать") исходную картинку при высоких значениях денойза. Что в каком-то смысле напоминает работу ip-adapters, которые тоже занимаются аналоизом картинки и могут работать без промта (вообще говорят этим занимаются все модели, но у SDXL это получается получше чем у остарых).
Есть подозрение, что данную модель можно использовать не только по прямому назначению (инпэинт-аутпэинт) но и для чего-нибудь еще (к примеру апскейл)... но это нужно проверять. Так что насобирал немного ссылок - будем экспериментировать.
https://stable-diffusion-art.com/controlnet/#ControlNet_Inpainting
https://github.com/Mikubill/sd-webui-controlnet/discussions/1143
https://www.reddit.com/r/comfyui/comments/16a4i3x/what_does_controlnet_inpainting_do/
https://www.reddit.com/r/comfyui/comments/162m1vf/how_to_onestep_txt2image_resize_and_fill_using/
https://www.reddit.com/r/StableDiffusion/comments/145ita5/controlnet_update_11222_preprocessor_inpaint/
https://www.reddit.com/r/StableDiffusion/comments/136acly/controlnet_11_workflow_inpaint_instruct_pix2pix/
https://www.toolify.ai/ai-news/learn-the-ultimate-image-editing-technique-with-inpaint-anythingcontrolnet-a1111-tutorial-part2-78435
https://stable-diffusion-art.com/inpainting_basics/https://kindanai.com/en/manual-controlnet-inpaint/
https://huggingface.co/docs/diffusers/using-diffusers/controlnet