OpenPose editor для ControlNet в Stable Diffusion

Друзья, когда ControlNet только вышел я сразу вам рассказывал, что уже через неделю будет расширение которое позволит нам редактировать позу прям в автоматике и даже без фотографии в качестве референса.

Это расширение уже здесь

Установка очень простая переходите на вкладку Extensions – Avalibaile – Load находите в списке openpose-editor, Install, обратно на прошлую вкладку и Applay and Restart UI. Готово у вас появилась вкладка OpenPose Editor.

Настройки тут простые как пять копеек, вы указываете размер своего холста т.е. разрешение будущей картинки. А потом берете скелетик и двигаете его так как хотите. Скелеты имеют по три точки на ногах, руках и теле, и еще несколько на голове, кликните на точку и удерживайте и вы можете легко поставить персонажа в нужную вам позу.

Я например поставлю вот в такую странную позу:

Нужно немного приноровится чтобы понимать как точка за какой сустав отвечает, но схема рабочая.

Когда поза выставлена вы можете сохранить её как PNG чтобы использовать позднее, сохранить как JSON чтобы импортировать в другие программы, или сразу же отправить в ControlNet и сделать из этой позы картинку. Мы так и поступим.

Не забываем нажать галочку Enable и выставить модель openpose, препроцессор мы не ставим т.к. уже сделали эту работу сами. Генерируем!

Но это еще не все, если мы хотим сделать нескольких персонажей в этом нет никакой проблемы, просто увеличиваем размер холста, так, чтобы они физически помещались и жмем на кнопочку ADD.

А вот и результат, отличная динамичная сцена с минимумом усилий и тремя персонажами, в инпеинтинге сможем сделать им разные лица.

Что еще тут есть полезного, на вкладке OpenPose Editor мы можем выставить позу по фотке и отредактировать её, для этого загрузите фото через кнопку Detect from Image. Если хочется то корректируем, или сразу закидываем в ControlNet.

Генерируем получаем превосходный результат.

Друзья, теперь все стало гораздо проще и удобнее, это очень важная веха которая меняет все.

Ну и раз уж я стал вашим местным оракулом, то расскажу как дальше будет развиваться эта тема. Появятся готовые пресеты для поз, чтобы выставленную позу можно было сохранить, будет библиотека с готовыми позами, ведь их можно загружать из JSON т.е. из программ для 3д моделирования и много откуда еще. И будет доработан в конце концов openhand и руки мы сможем выставлять точно так же в этом же расширении. Ну и в конце концов само расширение переедет по ближе, во вкладку генерации чтобы прямо там же создавать.

До этого по моим скромным оценкам уже по больше времени, думаю около месяца. Будем подождать. А пока have fun мои хорошие.

---

Вот мой список полезных ресурсов:

#stablediffusion #гайды