Готик-арт и неожиданные пайплайны

Или как повелевать нейросетью при помощи порноигры.

Буэнос диас, нейроартисты и за ними следящие.

В нашем коммьюнити закрепилась традиция покупать себе RTX, и я с кайфом ей последовал. Гугл коллаб, отныне иди ты в пень со своими лимитами!

И вот, играясь на новых мощностях, я наконец добрался до контролнета, и мне напрочь снесно крышу. А когда я шутки ради попробовал кое-что сделать...

Короче говоря, пристегнитесь - мы едем в страну костылей и выкрутасов, коими славится нынешний этап развития технологии.

Есть такая старая, но знакомая не очень узким круга игра:

Геймплей описывать не буду - люди культуры и так знают/догадываются.

Нам нужно другое - в игре мало того, что есть генератор персонажей...

..Так еще и студия, в которой можно расставлять их в какие угодно позы в каком угодно окружении:

А вспомнил я о ней потому, что в ходе спасения данных со старого компа наткнулся на билд внки, которую пытался сделать при помощи всего этого инструментария:

ВНки так и не получилось, но меня осенило - в наше непростое время возни с контролем генерации персонажей при помощи контролнета, почему бы не опуститься на слой ниже, и не задавать персонажей вместе с их позой еще до работы в самой нейронке?

Да, опенпоуз и куча костылей к нему прекрасны, но еще интересней скармливать нейросети почти готовый результат вместо попыток понять, где у скелета ухо, а где глаз (сорян, накипело).

Решено было начать с простого - закинуть сделанные для игры спрайты персонажей и посмотреть, что произойдёт.

Первой была Лилит:

И вот что произошло, когда я сгенерировал арт на основе одной лишь обработки в ControlNet - в промпте не было ничего, кроме worst quality, (low quality:1.4) в негативе:

"Охуеть" - подумал Штирлиц.

Далее я попытался описать в запросе ее внешку, но из-за моего колористического кретинизма не попал в цветовую гамму:

Я не поверил своему счастью, и решил попробовать другого персонажа:

На этот раз у меня получилось - промпт попал в детали, что в принципе не удивительно - office lady, glasses, leather skirt не самый сложный набор тегов:

Что ж, если оно умеет менять/повторять детали, то можно пойти с этим в страну креатива. Пробуем!

Закидываем в контролнет другой, более уверенный в себе спрайт:

И после обработки моделью depth получаем вот такую маску:

А дальше вы знаете - составляем промпт, генерируем, закидываем в инпейнт и тд. Не буду показывать весь процесс, покажу лишь свой скромный результат:

!!!Важная деталь - контролнет можно оставлять включенным во время инпейнта, так ваши правки не будут вылезать за пределы выставленных контролнетом ограничений. Это прекрасно, когда вам нужно сохранить определенные черты персонажа, но лучше выключать, когда вы идете править что-то еще, например фон.

Короче говоря, я предварительно в восторге. Лица и руки при таком пайплайне (слово-то какое, лол) в безопасности, потому что ты скармливаешь нейронке практически готовый результат - поза и персонаж есть, всё остальное - постобработка.

Мои эксперименты продолжатся, так что я вернусь позже и что-нибудь ещё обязательно продемонстрирую. Попробуйте и вы.

А на сегодня всё - подписывайся на волшебный телеграм-канал - там есть сиськи, непотребства и бесконечные попытки разобраться, как работает этот проклятый #stablediffusion

P.S. Вот вам анекдот напоследок - встречаются два нейрохудожника, один другому говорит:

-Ну и запросы у тебя!