Нейросеть для создания персонажа 2D игры

Начало.

Я по фану нарисовал куклу, чтобы потом на ее основе делать разные фанарт скины с анимациями и выкладывать их во все запрещенные и нет соц. сети.

Кукла и анимация.

А спустя время наткнулся на нейросеть playgroundai основанной на stable diffusion и DALL·E 2. Там оказалось можно генерировать изображения на основе текста и на основе своего фото или рисунка, что меня привлекло.

На сайте множество настроек от степени похожести на оригинал до готовых пресетов с ключевыми словами, в общем поиграться есть с чем (тем более что в день дается аж 1000 изображений!).

Скрин с сайта нейросети
Скрин с сайта нейросети

Сначала я естественно побаловался на фотографиях и своих старых работах, интересно, но не более того.

Непосредственно Генерация.

Спустя время решил вставить куклу как основу для генерации и посмотреть что получится, и понеслась.
Для генерации выбрал тему постапокалипсиса, прописал соответствующие ключевые слова и нажал Generate.

Нейросеть для создания персонажа 2D игры

mad max, book of eli, character, man in sand, comics, art, concept art, detailed, line art, cartoon

👆 Ключевые слова по фильмам, и стилю желаемой рисовки 👆

То что мне выдавало при базовых настройках, без фильтров. Прикольно но слишком мало деталей.
То что мне выдавало при базовых настройках, без фильтров. Прикольно но слишком мало деталей.

Полез дальше в настройки.

Похожесть на оригинал — 40

Фильтр — Delicate Detail

Соотвествие ключевым словам — 20

Качетво и детализация — 30

И тут полезли уже интересные варианты.
И тут полезли уже интересные варианты.
Фрики на любой вкус и цвет.
Фрики на любой вкус и цвет.
По превью изображений сразу угадывается стиль изображений комикса "Mad Max" и концептов к фильму "Книга Илая" (ключевые слова сработали и как реф за основу просто супер).
По превью изображений сразу угадывается стиль изображений комикса "Mad Max" и концептов к фильму "Книга Илая" (ключевые слова сработали и как реф за основу просто супер).

Получались интересные результаты и не очень, но в целом есть с чем работать.

Очень много картинок.
Очень много картинок.

В итоге за 3 дня я нагенерировал более 150 изображений с разными вариациями, используя дополнительные ключевые слова.

Что получалось когда к имеющимся словам добавлял дополнительные ключевые слова.
Что получалось когда к имеющимся словам добавлял дополнительные ключевые слова.

Что получилось и как с этим можно работать.

Нагенерировав большое количество изображений можно приступать к отбору самых подходящих.
Где то я брал только головы и дорисовывал огрехи сети сам, где то просто вырезал подходящие элементы.
Примеры в картинках ниже. 👇

Головы от разных генераций, выровнил цвет под один.
Головы от разных генераций, выровнил цвет под один.

Кисти рук по классике выходят как культи и по итогу лучше дорисовывать их самому.

Золотая коллекция референсов кистей рук для художника.
Золотая коллекция референсов кистей рук для художника.
Интересные части на изображениях, будь то головы, обувь, пояс или футболка с нагрудной бронёй.
Интересные части на изображениях, будь то головы, обувь, пояс или футболка с нагрудной бронёй.
Можно также поиграться с исходным изображением для более четкой генерации, дорисовывая на куклу схематичные предметы.
Можно также поиграться с исходным изображением для более четкой генерации, дорисовывая на куклу схематичные предметы.
Пример сборки персонажа из разных изображений. 
Пример сборки персонажа из разных изображений. 

Подготовка к интеграции в игровой движок.

Для анимации я использую программу костной анимации Spine. Нарезаю персонажа на нужные части и он готов к экспорту из фотошопа. Все головы, ремни, жилетки и ботинки можно будет сделать скинами на одном персонаже, что очень удобно и дает вариативность в создании персонажа.

Нарезка под костную анимацию.
Нарезка под костную анимацию.
Риг персонажа в Spine.
Базовые анимации + скины голов, сумки и жилета (Задел на снаряжение).

Положение и ракурс персонажа очень хорошо ложатся на 2Д игру по типу платформер или сайдскроллер.

Интеграция в Unity.

Закидываем файл json от spine в unity, предварительно поставив специальный пак для импорта. Пишем простой контроллер чтобы персонаж мог стоять и ходить.

Персонаж в движке Unity.

Вот и всё получается, персонаж сгенерированный нейросетью в игре!
Остается только добавить возможност грабить караваны и игра готова.

- — -

Также попробовал немного нагенерировать оружие и интерфейс. Примеры ниже.

Пример генерации оружия.
Пример генерации оружия.
Пример генерации интерфейса.
Пример генерации интерфейса.

П. С.

Если такой формат будет интересен, то опробую и распишу по оружию подробнее, включая разные виды вооружений, от пистолетов до мечей.

Обложка
Обложка

Подписывайтесь на твиттер и телеграм, буду стараться там выпускать посты про разработку и анимацию.

Спасибо что дочитали!

306306
33
49 комментариев

Интересно, а что у них по правам на использование?

7
Ответить

Думаю что вероятность четкой копирки тут 50на50, а так за стиль рисовки никто прав не берет.
И тут уже идет переработка в любом случае, но вопрос стоит конечно изучить.

1
Ответить

Художники плачут кровавыми слезами

7
Ответить

я пока плачу художникам. Они в блендере модель в 3Д делают а потом в 2Д это перегоняется. Нейронки не умеют 3д модели делать

Ответить

Интересный пост, прочитал с удовольствием. Спасибо.
Ждем еще.

5
Ответить

Спасибо! Старался)

2
Ответить

тоже самое!)))

Ответить