Дизайн персонажей в ComfyUI

ControlNet'ы и IPAdapter'ы.

Привет! В этой простыне расскажу, как в ComfyUI создать Character Concept Sheet, имея в исходной только одну картинку.

Я редко пишу сюда лонги, поэтому представлюсь еще раз. Меня зовут Саша Мелентьев, я верю в Design with AI в скором будущем. И помогаю этому будущему наступить раньше. Телега...

Первоначальная картинка была такая. Я ее сгенерил, но ее мог принести и художник, сделанную в Photoshop, и арт-директор из интернета.

Если при создании персонажа мы можем картинку сгенерить свою, то мы находимся в выигрышной позиции, если же картинку нам вручили, то нужно подобрать промпт и модель, например, на Civitai. Я стартовал с этим промтом - Civitai.com

Путь от исходной картинки к концепт листу такой: Картинка -> Крупный план и T-Pose фронтальный -> 3D модель -> три ракурса в Т-позе -> Facial Expressions

Первым шагом, самым простым, будет укрупниться на лицо персонажа, для этого кропаем картинку и апскейлим ее.

Добавим (OpenPose) ControlNet и (Plus Face) IPAdapter, чтобы управлять позой, а IPAdapter перенесет лицо в новую генерацию. Промпт у нас остается прежний, поэтому одежда и детали без изменений кочуют в новую генерацию. Получаем T-pose фронтальный.

Первый этап is done. T-Pose и close-up shot у нас есть.

Перевязь ControlNet'ов и IPAdapter'ов сильно выворачивает руки SDXL нейросети, поэтому, чтобы избежать разных артефактов, применяя контролы и адаптеры, лучше остановиться на генерации одиночного портрета.

Надежнее сделать 3D модель персонажа из T-pose, а потом порендерить в Blender те самые turntable'ы.

Картинка из Blender'a служит вдохновением для Препроцессоров Контролнета: Depth, Canny, в меньшей степени тут нужен OpenPose. Это не Img2Img, это генерация по тому же самому промпту, с одним IPAdapter'ом и (Depth and Canny) ControlNet'ом.

Можно тут уже считать, что игра сыграна и дело сделано, самое сложное - это нарулить turntable'ы. Потому что эмоции сделать из крупного плана легко.

AdvancedLivePortrait делает эмоции в ComfyUI. А если погуглить этот инструмент, то можно найти его сайт и сделать эмоции персонажу там. Но все же проще, когда все инструменты в одном комфи.

Потом turntable'ы и expressions остается только разложить на листе.

А на этом закругляю эту простынь. Я хотел раскрыть пайплайн работы с ИИ при дизайне персонажей и раскрыл его. Когда инструменты поменяется, и с SDXL нужно будет перейти во Flux или сразу в видео редактор, то общий процесс работы с персонажем останется таким же.

Даже когда художнику уже ничего не надо будет нажимать руками, а только орать в монитор, - услышим:

- Создай персонажа для игры, покажи со спины, покрути, приблизь на "крупняк". Улыбка, грусть, озорничает как...

Поддержать автора можно на Boosty. Там есть видео workshop, где процесс создания персонажа разобран во деталях. Если я смог зажечь в ком-то страсть создать персонажа своего, то весь design process можно пройти с поддержкой в чате.

И еще один момент...

Не скажу, что это весь процесс такой же легкий, как на видео, однако же первые шаги можно сделать, перейдя по этой ссылке ниже.

Это лучший облачный сервис с прекрасной поддержкой. Если вы знаете каков на вкус недостаток VRAM, то облачный сервис - спасение.

. .

. .

. .