Начало.
Я по фану нарисовал куклу, чтобы потом на ее основе делать разные фанарт скины с анимациями и выкладывать их во все запрещенные и нет соц. сети.
А спустя время наткнулся на нейросеть playgroundai основанной на stable diffusion и DALL·E 2. Там оказалось можно генерировать изображения на основе текста и на основе своего фото или рисунка, что меня привлекло.
На сайте множество настроек от степени похожести на оригинал до готовых пресетов с ключевыми словами, в общем поиграться есть с чем (тем более что в день дается аж 1000 изображений!).
Сначала я естественно побаловался на фотографиях и своих старых работах, интересно, но не более того.
Непосредственно Генерация.
Спустя время решил вставить куклу как основу для генерации и посмотреть что получится, и понеслась.
Для генерации выбрал тему постапокалипсиса, прописал соответствующие ключевые слова и нажал Generate.
mad max, book of eli, character, man in sand, comics, art, concept art, detailed, line art, cartoon
👆 Ключевые слова по фильмам, и стилю желаемой рисовки 👆
Полез дальше в настройки.
Похожесть на оригинал — 40
Фильтр — Delicate Detail
Соотвествие ключевым словам — 20
Качетво и детализация — 30
Получались интересные результаты и не очень, но в целом есть с чем работать.
В итоге за 3 дня я нагенерировал более 150 изображений с разными вариациями, используя дополнительные ключевые слова.
Что получилось и как с этим можно работать.
Нагенерировав большое количество изображений можно приступать к отбору самых подходящих.
Где то я брал только головы и дорисовывал огрехи сети сам, где то просто вырезал подходящие элементы.
Примеры в картинках ниже. 👇
Кисти рук по классике выходят как культи и по итогу лучше дорисовывать их самому.
Подготовка к интеграции в игровой движок.
Для анимации я использую программу костной анимации Spine. Нарезаю персонажа на нужные части и он готов к экспорту из фотошопа. Все головы, ремни, жилетки и ботинки можно будет сделать скинами на одном персонаже, что очень удобно и дает вариативность в создании персонажа.
Положение и ракурс персонажа очень хорошо ложатся на 2Д игру по типу платформер или сайдскроллер.
Интеграция в Unity.
Закидываем файл json от spine в unity, предварительно поставив специальный пак для импорта. Пишем простой контроллер чтобы персонаж мог стоять и ходить.
Вот и всё получается, персонаж сгенерированный нейросетью в игре!
Остается только добавить возможност грабить корованы и игра готова.
- — -
Также попробовал немного нагенерировать оружие и интерфейс. Примеры ниже.
П. С.
Если такой формат будет интересен, то опробую и распишу по оружию подробнее, включая разные виды вооружений, от пистолетов до мечей.
Спасибо что дочитали!
Интересно, а что у них по правам на использование?
Думаю что вероятность четкой копирки тут 50на50, а так за стиль рисовки никто прав не берет.
И тут уже идет переработка в любом случае, но вопрос стоит конечно изучить.
Не, у каждой сетки есть четкие права на использование. Например, Stable Diffusion, если мне не изменяет память, позволяет коммерческое использование. Dall-e напротив, запрещает.
https://stability.ai/blog/stable-diffusion-public-release
Но судя по всему, модель тоже играет роль.
Dall-e не запрещает коммерцию.
SD запрещает неэтичное использование (но всем плевать)
Да, ты прав
Но я так понимаю, что это достаточно серая зона и при этом важна модель, поскольку в зависимости от того, на чем ее обучали, зависит ее доступность для коммерческого использования.
да, сейчас не ясно, что будет с существующими моделями из работ конкретных людей, сделанных без их согласия. Пока законы движутся к довольно обширной трактовке «необходим значимый вклад человека в работу нейросети/в результаты работы нейросети», чтобы генерации вообще попадали под копирайт.
За спайдермена тебя будут - кхм)))
Ну за это точно, а как пример хорошо)
Художники плачут кровавыми слезами
Интересный пост, прочитал с удовольствием. Спасибо.
Ждем еще.
Спасибо! Старался)
тоже самое!)))
Никогда не понимал почему никто не начнёт использовать генерацию в играх, каких нибудь мобов, противников, предметов и тд, хотя бы из заготовленных прессетов, это же в разы улучшает геймплей и реиграбельность
смотря в каком виде генерацию. генерация происходила в облаке а это стоило денег и занимало времени. когда алгоритмы будут достаточно быстрые и дешевые и у устройств будет достаточно мощности для генерации смогут это использовать. ну или с развитием технологий появятся возможности в том же облаке как тут везде
Думаю это вопрос времени. А уникальный контент всё-таки никто не отменяет если есть ресурсы
Проблема с генерацией на компе пользователя в том что требуется Nvidia GPU, 8GB Ram, несколько гигов на файл модели, питон с библиотеками... Проще генерировать заранее или через облако.
это потому, что ты не понимаешь, что такое моб, предмет и т.д (игровой ассет) с точки зрения игрового движка. За визуалом, которые тебе нарисовали на экране находится много чего ещё, что тебе, как игроку, видеть не нужно.
А отвечая на твой вопрос прямо:
написать можно что угодно(что угодно!), но профессиональные разработчики всегда под конкретные задачи работают, в рамках финансового и временного бюджетов, диздока и прочих, прочих, прочих ограничениях.
Borderlands с ее миллионами вариаций пушек
Прикольно, а сетку для 3D объектов еще не сделали? Типа в lowpoly стиле?
Знаю есть плагин для блендера какой-то
Комментарий недоступен
я и не уточнял что именно он делает, знаю что-то есть
А нейросеть для генерации анимаций в формате для конечного потребителя есть? Заинтересовала тема, но нашел только одну статью в Гугле о такой вещи с референс-статьей на гитхабе.
Интересный эксперимент. Смотрел и думал что тут не то и понял, нейросетка провалила задачу, она людей рисовала, а не кукол в таком стиле). ну может ей не правильно условия сформулировали. Неплохо конечно правда пока первоначальная картинка мне понравилась больше)
Цели сделать куклу и небыло, эксперимент чисто по персонажке. Если прописать doll или dummy (как пример с роботом), то что то да получится.
Клёвая статья! И выглядит все очень презентабельно.
Спасибо!
Воу
Топово вышло!
Благодарю!
Благодарочка за интересное чтиво и наглядный экшон !
Спасибо! Рад что зашло)
А оно дорисовывать стертые детали может? А не прямо заново генерить. Из РФ доступна?
Да, из рф доступна. Именно дорисовывать нет, будет генерить всю картинку заново
Занятно, спасибо)
Спасибо хорошая статья) А есть нейросеть которая тебе сразу игру готовую генерит ? А потом нейросеть которая сделает монетизацию в нее, анализ, ....? 😀Шучу. Но похоже, до этого недалеко.
Мысль использовать нейросети как материал для дальнейшей 2д анимации посещала мою голову.. спасибо за ваш опыт, он очень вдохновляет)))
Джва года уже жду игру
это прекрасно!!! жду игру!!!))))