Мои первые эксперименты с ControlNet

Кратко - полный восторг. Подробнее - в посте.

Первым делом я взял свою старую картинку, которую в целом до сих пор считаю лучшей из тех, что я генерировал. Не потому что она особенно качественная или что-то подобное, а потому что получилось ровно то, что я представлял себе в голове.

Для тестов я скачал какую-то рандомную анимешную модель, PastelMix, потому что на стоковой 1.5 как-то скучно, засунул туда картиночку, а в ControlNet использовал Hed, которая использует для контроля генерации грубые очертания объектов. Нарисовала она вот такие очертания.

И понеслось. В качестве запроса я использовал немного подредактированный вывод от нейросети BLIP. Благодаря нему на арте сохраняются основные детали, вроде зимы за окном или общего настроения, а ControlNet управляет композицией.

Если уменьшить вес ControlNet, то Stable Diffusion проявляет больше "фантазии" при рисовании, больше обращает внимания на текстовую подсказку, и, в моем случае, почему-то рисует снег там, где его быть не должно.

Вообще, указывать какую-то либо текстовую подсказку вообще не обязательно. Если включить режим Guess, ControlNet попытается сама угадать, что происходит на картинке, и, исходя из этого уже контролировать генерацию. С нашей картинкой и обычной SD1.5 выходит ну совсем что-то совсем невыразительное, а вот с PastelMix бывают очень даже привлекательные варианты. А самое главное - каждая картинка уникальна как в целом, так и в деталях. Хотя цвета наркоманские.

Встречаются реально уникальные арты, которые сильно отличаются от исходного. Главный принцип работы с генеративными нейросетями - Cherry Picking проявляются тут как никак прежде.

Хватит кружек на столах! Перейдем к чему-то более сложному, например, фотографии клавиатуры вот из этого поста.

Не буду долго описывать происходящее, из нового - модель, которая работает по карте глубин, depth, и модель, которая работает по подробным очертаниям объектов, canny. Не обращайте внимания на неправильные цвета, их можно было бы сделать нормальными, если бы я ввел какой-нибудь запрос.

Depth

Hed

Canny

Моё мнение - лучший вариант - по карте глубин, тут клавиатура больше всего похожа на клавиатуру. Но для лучшего соответствия приходится использовать больший вес ControlNet.

Еще я попробовал превратить котика в аниме. Надеюсь, что меня не посадят за жесткое обращение с животными.

В целом, оно иногда не угадывает с лапами, но учитывая то, что на оригинальной фотографии их вообще не видно - мне нравится.

#stablediffusion #controlnet #pastelmix #нейросети