Создавать собак, кошек и даже лошадей в нейросети стало проще! Вышел ControlNet Animal OpenPose для Automatic 1111

Всем привет, не успели мы отойти от шока, что руки теперь не проблема, так оказывается еще пару недель назад вышел препроцессор для ControlNet который позволяет получать скелет не только людей, как было раньше, но и животных. Я вот только узнал об этом и спешу рассказать вам.

Что нам понадобится:

Но сначала расскажу что такое OpenPose, это серия моделей для ControlNet, которые служат для трекинга и воссоздания поз человека, выглядит это примерно так: вы загружаете картинку в контролнет, и получаете с ней скелет модели, а дальше можете в той же позе создать другие изображения.

Естественно с животными это не работало, потому что у них совсем другой скелет и использовать существующие модели было невозможно для братьев наших меньших.

Но вот появилась модель и препроцессор для работы с животными, перейдем к установке.

Обновляете ControlNet зайдя в Extensions и нажав на кнопку Check for updates, дожидается завершения и нажимается на Apply. Модель Animal OpenPose надо положить в папку stable-diffusion-webui\models\ControlNet. Вот все в принципе и готово. Проверяем.

Если вы все сделали правильно, то у вас все выглядит примерно таким же образом, я взял фотку рандомного кота из гугла, вы можете попробовать другую зверушку. Выбираем препроцессор Animal_openpose и нажимаем на кнопочку со взрывом, через некоторое время у вас должна будет отобразиться карта в форме схематичного скелета бедной зверушки.

Например так выглядит кот с картинки выше.

А вот такой кот у меня получился по простому запросу raw photo of sitting cat, motion, 8k, uhd с этой картой.

Не идеально, но согласитесь весьма неплохо и главное достаточно просто. Так что теперь сможете наделать отличных портретов своего любимого кота.

Конечно как и все на 1.5 моделях это тоже работает не идеально, но если у вас хороший скилл по инпеинтингу, то вас не напугает даже самая большая проблема - многожопость.

Инпеинтить такие ситуации гораздо проще если использовать inpainting модель для ControlNet.

В тех случаях, когда что-то идет не так и карта создается совсем уж кривая вы можете отредактировать её самостоятельно, сделайте карту, и кликните на Edit в предпросмотре.

В открывшемся окне вы сможете отредактировать ключевые точки, просто кликайте по ними и переносите. Это потребует некоторой сноровки прежде чем вы поймете какая кость за что отвечает и как их сгибать чтобы зверушки не выглядели как в FNaF, но у вас обязательно получится. Когда закончите нажмите кнопку - Отправить позу в ControlNet, ну или Скачать JSON, чтобы воспользоваться этой картой позже.

Теперь вам будет проще сделать что-то классное, вы можете комбинировать разные слои CN чтобы получить что-то новое, например человека бегущего с собакой рядом и теперь собака будет иметь реалистичные движения, потому что вы сможете создать её по настоящему изображению.

А совсем скоро выйдет видео про работу с руками, до сих пор тестирую различные варианты, чтобы выбрать самый лучший, так что подпишитесь везде, чтобы не пропустить.

Я рассказываю больше о нейросетях и делюсь иллюстрациями у себя на YouTube, в телеграм и на Бусти. Буду рад вашей подписке и поддержке. Всех обнял.