{"id":4009,"url":"\/distributions\/4009\/click?bit=1&hash=6ca492c3f83735606d9aedae9a61ec224ef2083f8beca590c50a2adcfd4adeee","title":"\u041f\u043b\u0430\u0442\u0438\u0442\u0435 \u00ab\u041c\u0438\u0440\u043e\u043c\u00bb? \u041f\u043e\u043b\u0443\u0447\u0430\u0439\u0442\u0435 \u043f\u043e\u0434\u0430\u0440\u043a\u0438!","buttonText":"\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435","imageUuid":"4ea1e9ad-3a39-54d5-bfbf-ba7bfd1bb941","isPaidAndBannersEnabled":false}

Я обучил нейросеть Stable Diffusion рисовать игровые иконки

Вероятно вы уже слышали про успехи нейросетей в генерации картинок по текстовому описанию. Я взял за основу модель Stable Diffusion и несколько популярных мобильных игр. Вот что из этого вышло.

Предыстория

Зачем вообще тюнить нейросеть, если она из коробки умеет рисовать в различных стилях? Для ответа на этот вопрос можно воспользоваться поисковиком по картинкам, сгенерированным с помощью Stable Diffusion.

Запрос "game icon".

Иконки игр, сгенерированные оригинальной Stable Diffusion

Запрос "homescapes".

Картинки в стилистике игры Homescapes по мнению оригинальной модели Stable Diffusion

Видно, что модель плохо отличает Homescapes от Ван Гога, а с игровыми иконками все совсем грустно. При этом в других стилях можно получить вполне неплохие результаты.

Резульат генерации Stable Diffusion по запросу "A grey sketch on paper of a Ferrari car, full car, pencil art".

Данные

Глобально модель умеет рисовать, просто не знает про стили конкретных игр. Значит ей нужно показать примеры. Для этого я собрал около 100 картинок из открытых источников и сопроводил их текстовыми описаниями.

a plate of cookies and a cup of tea on a glass table, Homescapes

Источник: https://cdna.artstation.com/p/assets/images/images/022/314/786/large/digital-forms-df-02.jpg?1574951499

a four-level stand with pots of grass in the form of a pyramid, Homescapes

Источник: https://cdna.artstation.com/p/assets/images/images/034/692/086/large/sunstrike-studios-3.jpg?1612962819

Процесс занял около 3 часов. Если у вашей игры есть хотя бы 50 иконок, их уже можно использовать для тюнинга нейросети.

Обучение

Важно оговориться, что я не обучаю нейросеть с нуля, а делаю fine-tunning. Это позволяет за несколько часов научить модель рисовать в стиле, представленном в датасете, но при этом она «забывает» как рисовать в других стилях. Процесс тюнинга нельзя назвать тривиальным, поэтому в рамках данной статьи не буду погружаться в дебри. Если вам интересно, как Stable Diffusion устроена под капотом, можете почитать об этом в моей предыдущей статье.

Интерфейс

Как мне кажется, самым удобным интерфейсом для взаимодействия с моделью будет плагин в Photoshop. Художник может создавать слои с простыми элементами, сгенерированными по тексту, тут же редактировать детали и собирать все в итоговое изображение, таким образом ускорять рабочий процесс.

Но я не нашел плагинов в Open Source, поэтому на скорую руку прикрутил веб-интерфейс на базе сервиса gradio.

Источник: https://github.com/AUTOMATIC1111/stable-diffusion-webui

Заключение

Я искренне считаю, что нейросети — фотошоп 21 века. Не надо их бояться, надо учиться ими пользоваться. Они могут ускорить вашу работу в несколько раз. При этом они не смогут заменить вас, так как нуждаются в тонкой настройке и контроле качества на основе вашего вкуса и чувства стиля.

Подписывайтесь на мой канал в Telegram.

0
75 комментариев
Написать комментарий...
skeyven
Я искренне считаю, что нейросети — фотошоп 21 века. Не надо их бояться, надо учиться ими пользоваться. Они могут ускорить вашу работу в несколько раз. При этом они не смогут заменить вас, так как нуждаются в тонкой настройке и контроле качества на основе вашего вкуса и чувства стиля.

Как боженька смолвил

Ответить
Развернуть ветку
Кирил Мифодиев

Как "боженька" смолвил Гарри Гаррисон в 1964-м (Портрет художника). Творчество заменят блондинками, которые могут, как высшие приматы, понимать базовые принципы происходящего и вовремя нажимать кнопочки.

Ответить
Развернуть ветку
1 комментарий
NECROID

Картинку тоже выведи какую нибудь в ленте

Ответить
Развернуть ветку
Dmitry Savostyanov
Автор

А как это сделать?) Я что-то не справился с управлением

Ответить
Развернуть ветку
2 комментария
Дэвид Шариф
Запрос "game icon".

Классика

Ответить
Развернуть ветку
Соловей

О! Это же знаменитый "Мужик орущий вправо"!) Бессмертная классика

Ответить
Развернуть ветку
Твой батя

вот это уже невероятную кучу времени сэкономит ребятам, которые в одно лицо игры делают.

Ответить
Развернуть ветку
Dmitry Savostyanov
Автор

Ребята, не стесняйтесь писать в лс https://t.me/KPACAB4NK_PELLIAET_BOTTPOCbl. Если есть выпущенные игры, могу дать доступ к модели.

Для крупных игр могу сделать кастомные версии на ваших данных.

В общий доступ пока не могу выложить, потому что все крутится на одном серваке, он просто не выдержит. А на каждый новый сервак нужно по ~$2500 в месяц, я пока еще не заработал на такое удовольствие)

Ответить
Развернуть ветку
2 комментария
LAZAR

художники тем временем

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Данил Япринцев

напряглись те, кто делал такой же скучный симпла-арт, как на картинках предложенных. Людей никогда не заменят в плане придумывания необычного и неочевидного дизайна. А когда нейросети обучатся и до такого - напрягутся вообще все созидательные профессии.

Ответить
Развернуть ветку
6 комментариев
rad

Не все а те кто рисует иконки для казуалок (хотя таких немало да)

Ответить
Развернуть ветку
Михаил С

Они уже давно напряглись. А с ними напряглись стокинги и площадки типа Артстэшна. Зайди в Твиттер, чекни истерию по поводу "изображений, созданных с низкими усилиями".

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Cringe Artist

Уже используем для бэков, все равно с блюром и кучей окон уже не видно деталей.

Ответить
Развернуть ветку
2 комментария
Dmitry Savostyanov
Автор

Уже сейчас есть возможность делать img2img, когда подаем на вход эскиз и текстовое описание

Ответить
Развернуть ветку
3 комментария
Dreadfort

Из за этих гадов мы без работы сидим!

Ответить
Развернуть ветку
Daniel Oldi

А можешь пожалуйста гайд накидать, как в Фотошоп ты добавлял себе эту нейросетку?

Ответить
Развернуть ветку
Dmitry Savostyanov
Автор

Тут есть видео с примерами https://christiancantrell.com/#ai-ml

Ответить
Развернуть ветку
Михаил С

Напиши хотя бы, что использовал репо AUTOMATIC1111/stable-diffusion-webui, а то создается впечатление, будто сам UI написал

Ответить
Развернуть ветку
Dmitry Savostyanov
Автор

Поправил

Ответить
Развернуть ветку
Kain Mort

Сколько по времени ушло на обучение, и на каком конфиге? Планирую пока новый ssd брать ибо чужие модели уже под 100 где то весят.

Жаль https://replicate.com/andreasjansson/stable-diffusion-animation и подобные пока не выдает вменяемых результатов.

Ответить
Развернуть ветку
Dmitry Savostyanov
Автор

1 час, если не считать подготовку данных

6 vCPU
87 ГБ RAM
1 × A100 40 ГБ GPU
SSD диск 150 ГБ

Ответить
Развернуть ветку
1 комментарий
I'm Qugurun

Есть вариант обучать на маленьком объеме памяти https://github.com/d8ahazard/sd_dreambooth_extension

Ответить
Развернуть ветку
3 комментария
AlexCoachman

Хмм... Прикольно наверное было бы иконки используемых программ под единый стиль подогнать нейросеткой.

Ответить
Развернуть ветку
Anar Kaji

А она умеет в векторе рисовать?

Ответить
Развернуть ветку
Dmitry Savostyanov
Автор

Не, сейчас, к сожалению, нет. Но знаю, что ребята из комьюнити предпринимают попытки

Ответить
Развернуть ветку
Михаил С

Векторизация растровых изображений давно в +- нормальном для прода состоянии находится.

Ответить
Развернуть ветку
1 комментарий
Kam Sus

Молодец, это КРУ... черкани описалово для корзинки с ягодой.

Ответить
Развернуть ветку
Dmitry Savostyanov
Автор

a game asset of basket with berries

Ответить
Развернуть ветку
5 комментариев
Нейро искусство

Ты молодец.

Ответить
Развернуть ветку
Alex Fielding

круто

Ответить
Развернуть ветку
rad

Очень нехватает более подробного описания как обучал. Каким методом? Или так и гуглить fine-tunning?

Ответить
Развернуть ветку
Dmitry Savostyanov
Автор

Если доводилось с кодом работать, то можно посмотреть в библиотеке Diffusers, там есть пример fine-tunning скрипта https://github.com/huggingface/diffusers.

В оригинальном репозитории Stable Diffusion вроде тоже что-то было, но там говнокод

Ответить
Развернуть ветку
1 комментарий
Zomboss

На превьюхе картинки очень годные. Особенно если задача просто "дай мне какую-нибудь иконку для железа в слитках". Хотя, вариант решения "найти ассет и спереть" всё так же актуален.

Ответить
Развернуть ветку
Martianov

Мощно. Тоже пытался сделать что нибудь гуишное, но остановился на косячных иконках. Тюнил модель под картинки, но под иконки не подумал)

Ответить
Развернуть ветку
не вывозишь метаиронию

выпускнинки скиллбокса и смирнов скул сейчас напряглись

Ответить
Развернуть ветку
Andrew Velichko

" могут ускорить вашу работу в несколько раз" - не ускорить а превратить в перебирание сгенерированых картинок. Если моя роль будет заключаться в этом, я лучше в нехудожественную профессию пойду, будет честнее

Ответить
Развернуть ветку
xyzw

Сделай нейросеть для пиксель арта. Я готов задонатить :)

Ответить
Развернуть ветку
xyzw

Вообще конечно очень круто.

Ответить
Развернуть ветку
Dmitry Savostyanov
Автор

В пиксель арт она из коробки умеет)
https://lexica.art/?q=pixel+art

Ответить
Развернуть ветку
5 комментариев
Aleksandra HR Infinite Art Sol

Доброго дня, Дмитрий.
Меня Саша зовут. Рада знакомству.
Очень хотелось бы побеседовать с вами о сотрудничестве. Свяжитесь со мной в телеграм https://t.me/Aleksandraia, пожалуйста.

Ответить
Развернуть ветку
weakkun

Если эти картинки реально уходят в какой то продакшен и за деньги и попадают куда то в итоговом варианте это пиздец какой то) Ни стыда ни совести у вас.

Ответить
Развернуть ветку
Читать все 75 комментариев
null