Нейросети - это буквально "руки из ж*пы". Как решить проблему лишних пальцев и конечностей?

Нейросети - это буквально "руки из ж*пы". Как решить проблему лишних пальцев и конечностей?

● Примерно так выглядит сбор "деталей" для создания модельки в "Dragon Bones".

Из более сотни вариантов выбираются самые удачные части тела и вырезаются для дальнейшего использования в конструкторе.

Нейросеть Stable Diffusion хорошо прорисовывает тени, детали одежды и в половине случаев даже лица получаются более-менее адекватными. Но есть проблема - руки и в особенности пальцы.

Любой кто пытался сгенерировать изображение с руками сталкивается с кучей артефактов. Кривые, непропорциональные и иногда лишние культяпки. В среднем лишь 1 из 100 вариантов более-менее удовлетворяет запросу.

● Как это исправить?

Можно просто добавить в запрос "detailed fingers" и без конца мучать нейросеть в ожидании чуда. Но куда проще взять "ситуацию с руками" в свои руки. Я владею Photoshop на базовом уровне, но даже таких знаний хватает, чтобы исправить косяки робота.

Я отобрал модельки с менее уродливой правой рукой (та где видно пальцы). Именно с ней связанно больше всего косяков. С помощью графического редактора я удалил лишнее и дорисовал недостающее. В основном применялся "Штамп". Цветовая палитра копируется пипеткой, обводка при помощи кисти.

▸ Эволюция руки
▸ Эволюция руки

Таким образом вместо соотношения 1/100 удачных, мы получаем уже 5-10/100, что делает работу с нейросетью более продуктивной. Да, программа не нарисует все за вас, придется научиться хотя бы редактировать графические элементы. Но это уже в половину проще чем рисовать все с нуля.

Нейросети - это буквально "руки из ж*пы". Как решить проблему лишних пальцев и конечностей?
Нейросети - это буквально "руки из ж*пы". Как решить проблему лишних пальцев и конечностей?
Нейросети - это буквально "руки из ж*пы". Как решить проблему лишних пальцев и конечностей?
Нейросети - это буквально "руки из ж*пы". Как решить проблему лишних пальцев и конечностей?
Нейросети - это буквально "руки из ж*пы". Как решить проблему лишних пальцев и конечностей?
Нейросети - это буквально "руки из ж*пы". Как решить проблему лишних пальцев и конечностей?

Продолжаю изучать нейросети как инструмент в разработке игр. Подписывайся на мой гоблинский блог, впереди еще больше интересного!

44
7 комментариев

Если у тебя все персонажи в одной позе, то просто контролируешь руки/ноги canny или depth'ом в controlnet.

1

Опробую, благодарю за подсказку)

А версия какая? С самого начала ванговал, что они это быстро заборят, но почему бы за улучшенные версии не брать бабло, например.

Я использую веб-версию с сайта Open Art. Для генерации взял модель Stable Diffusion XL 1.0 (1024).

С первой попытки в сдхл.