Кейс: рисуем персонажа с помощью нейросети

Меня зовут Олеся, я концепт и 2D художник. Обучаю других художников и студии внедрять Stable Diffusion в свою работу. Сегодня я расскажу о процессе создания персонажа с помощью нейросети.

Создание похожего персонажа в студии обычно занимает около недели. Но мы можем оптимизировать этот процесс и сократить его до 1 дня.

Обычно при создании персонажа на проекте есть много требований и ограничений: стиль, ракурс, пропорции, рост персонажа и так далее.

И художнику будет быстрее набросать скетч и далее отрендерить его в Stable Diffusion, чем пытаться с нуля уговорить нейросеть точно попасть во все требования проекта (если только вы не обучили нейросеть стилю ваших персонажей).

Поэтому мы разберём этот кейс как самый популярный.

У меня уже была четкая идея в голове: я хотела нарисовать рыжего самодовольного кота в расслабленной позе и в подростковой одежде, в казуальном стиле. Я собрала референсы и набросала цветной скетч в Photoshop.

Если у вас ещё не сформировался четкий образ по вашему ТЗ, вы можете дополнительно нагенерировать себе референсов и получить больше идей для создания персонажа.

Далее можно было бы сделать аккуратный лайн, чтобы в дальнейшем рендер тоже был более аккуратным и пришлось меньше править. Но я оставила текущий скетч, так как хотела использовать его как отправную точку. Например, я не хотела тратить много времени на прорисовку обуви, так как знала, что нейросеть сама предложит мне хорошие варианты.

Я использовала ControlNet для рендера персонажа, модель Delibarate и свой обученный казуальному стилю embedding (если вы хотите хорошее попадание в определенный стиль или стиль вашего проекта - нужно обучать нейросеть).

Меняла промт, сид, и силу ControlNet, чтобы получить больше интересных вариантов. Понравившиеся увеличиваю в размере с помощью Upscale.

Вот несколько из тех генераций, которые я получила в процессе:

Первые два были сгенерированы с помощью казуального обученного embedding'а, вторые внизу - без. Видно, как это влияет на стиль изображения.

Для дальнейшей работы я остановилась на первых двух вариантах в качестве основы.

Для наглядности показываю переход скетча в рендер. Кажется, что работа почти готова, но дьявол кроется в деталях! >:)

И тут мы переходим к следующему этапу.

Если мы приглядимся, то увидим множество артефактов, которые нужно поправить. Сделав аккуратный лайн, мы могли бы избежать линий, выходящих за края подбородка и обуви. Но убрать эти линии руками займет столько же времени.

Я правлю все артефакты, совмещаю генерации между собой и накладываю одежду из более реалистичных вариантов в разных режимах наложения.

Текущие глаза мне не нравятся, я возвращаюсь в SD и с помощью Inpaint перерисовываю их:

Вот такие изменения получились в итоге:

Сделала gif для наглядности всего процесса:

В итоге вся работа с нуля заняла примерно ~3 часа.

А с учетом фидбеков и апрувов можно уложиться в 1 рабочий день.

Создание персонажа в студии, которое раньше занимало неделю, теперь может быть сокращено до одного рабочего дня или даже нескольких часов.

Однако важно подчеркнуть, что нейросети дополняют инструментарий художника, а не заменяют его. Они могут помочь в поиске идей, рендеринге и проработке деталей - в общем, ускорить процесс работы.

Но как и любой инструмент, они требуют правильного применения и понимания своих возможностей и ограничений.

Надеюсь, этот материал оказался полезным и вы узнали что-то новое.⭐

🔸 Ещё мои статьи:

🔸 Если вы хотите освоить Stable Diffusion — приходите ко мне на курс. На сайте можно посмотреть программу и работы студентов! 🔥

🔸 Мой блог, где вы найдёте больше полезных постов.

🔸 Artstation | LinkedIn

#gamedev #художники #2d #нейросети #stablediffusion #stablediffusionai #геймдев #ai #ии #искусственныйинтеллект #разработка_игр #дизайн #арт #art #artificial_intelligence #генерация_арта #art_generation