Stable Diffusion, Midjourney и мобильные игры

Мы уже 9 лет занимаемся разработкой, улучшением и развитием мобильной игры. Наши сотрудники начинали с идей и скетчей в блокноте, на разработку уходило в 3 раза больше времени, чем сейчас. Теперь же мы вместе стоим у истоков создания машины, которая упростит работу или поработит человечество.

Мы поговорили с сотрудниками арт-отдела нашей студии о том, как в работе им помогают нейросети, и что нейросети умеют. Лилия Белоусова (далее Л) и Максим Радионов (далее М) постарались рассказать о своем опыте использования нейросети для создания игровых артов. В статье можно увидеть на примере, как работают программы, для чего они нужны и как улучшить свой результат (лайфхаки в запросах).

Какие нейронки используешь?

Л: Использую Stable Diffusion, пробовала Midjourney.

М: Я работаю с теми же программами

Для чего какая из них больше подходит?

Л: MidJourney, на мой взгляд, больше подходит для создания изображений на основе текстового запроса, не имеющих строгих критериев, скорее для свободного творчества или красивой иллюстрации на заданную тему. Stable Diffusion же позволяет больше работать с изменением и дополнением изображения, когда есть четкие требования к деталям или стилям, поэтому для работы она гораздо более удобна.

Облегчают ли работу? Помогают ли сократить сроки?

Л: В основном Stable Diffusion помогает сократить время рендера (прорисовки светотени, объема и детализации), примерно от 10% до 30% от всей работы над иллюстрацией.

М: На примере моей последней работы могу продемонстрировать, как это происходит: помогает детализировать скетч, но дорабатывать все равно приходится самостоятельно.

Какие задачи можно поручить нейросетям, а с какими они пока не справляются, по твоему мнению?

Л: Пока что считаю, что нейросети плохо справляются с созданием концептов, потому что не могут "думать" над применением тех или иных деталей, с трудом передают характер через цвет и форму. Вот с созданием реалистичного освещения, объема, приятных цветовых гамм справляются очень даже хорошо, поэтому и применимы в первую очередь для рендера. Также лучше всего нейросети справляются с изображением человека, поэтому особенно значимо помогают в создании персонажей для игры.

М: Сейчас нейросети только учатся понимать запросы пользователя, большинство запросов, отличных от специализации модели, воспринимают плохо (добавляет парочку ног, пальцев и прочего).

Как вообще работает ИИ (отметили ли какой-нибудь принцип)?

Л: Насколько я понимаю, нейросеть находит в своей базе похожие на заданный запрос объекты и усредняет их. Поскольку в базе много качественных иллюстраций и фотографий результат получается приятным и достоверным визуально, но часто теряет в смысловой нагрузке из-за отсутствия понимания что для чего используется.

М: Это натренированная на базе изображений система, точно сказать алгоритм работы не могу, но вижу, что некоторые темы/стили/модели лучше проработаны. С нуля рисовать, конечно, сложнее. Для этого лучше использовать Midjourney. Stable Diffusion может только подать идею.

Удалось ли обнаружить какой-то лайфхак, упрощающий работу, или фишку?

Л: Пока что у меня нет значительного опыта работы с ИИ, чтобы поделиться лайфхаком, но в работе со Stable Diffusion советовала бы не игнорировать возможные дополнительные инструменты вроде controlnet, LoRa, negative embedding и прочие, они значительно помогают улучшить результат. Также у меня есть готовый набор параметров и настроек, гарантированно дающий результат в определенном стиле, поэтому когда нет времени на долгие поиски нужного промта - беру его и немного подстраиваю. Иногда я пропускаю через нейросеть готовый арт, чтобы посмотреть что нейросеть изменит - иногда ей удается сделать лучше объем, красивее блики или оттенки, лучше текстуру и благодаря этому я могу учиться у неё и немного улучшать свои художественные навыки.

М: Например, в controlnet можно указать картинку референс, на которую генерация будет ссылаться по стилю.

Есть сайт civitai, на котором можно найти полезные статьи, модели, lora для работы. Например, берут художника и его картины, описывают их и создают LoRa, которая стилизует изображение поверх модели в фирменном стиле художника.

Например, создаем девушку из Средневековья в реалистичной модели, фиксируем seed:

good_composition, young medival girl, pink, green, red

и добавляем LoRa Мане:

good_composition, young medival girl, pink, green, red, <lora:Manet:1>

И вот такой результат получается:

Заменит ли нейросеть художника? Сейчас, конечно, нет. Программы только учатся создавать то, что от них хотят. Но уже сейчас активно помогают в работе художников, чего в принципе и пыталось добиться человечество. Машины должны упрощать жизнь, а не полностью заменять человека.

В комментариях расскажите, как вы используете нейросети - был ли у вас негативный опыт; без применения каких нейросетей вы уже не обходитесь?

Если вам интересен опыт использования нейросетей, работа в студии разработки мобильных игр - подписывайтесь на нас, мы готовы рассказывать и делиться своим опытом!