Как создать уникальные гейм ассеты с ИИ в своей стилистике

Ранее мы рассказали о том, как с помощью 30+ нейронных сетей ускорить процесс создания контента. Однако в дизайне важна не только скорость, но также качество узнаваемость. Сегодня вы узнаете, как ИИ помогает создать гейм ассеты в вашем уникальном стиле.

Тренировка модели позволяет ИИ «запомнить» любую концепцию – конкретный человек, объект, или целая стилистика – чтобы воспроизводить ее снова и снова. Про людей мы уже выпустили бесплатный видео-туториал, а про стилистику расскажем ниже.

Весь процесс обучения можно условно разделить на несколько этапов:

Есть несколько способов обучения нейросети Stable Diffusion, в числе которых текстовые инверсии и LoRA модели. Сегодня мы остановимся на DreamBooth, подробнее о нем – в секции “Обучение”.

В качестве примера возьмем игру Project Winter. Она имеет уникальный low poly узнаваемый вид. Поскольку мы обучаем на игровом стиле, за референсы для обучения могут сойти элементы окружения или персонажи в виде скриншотов и к ним нет строгих правил. Главное – чтобы легко считывалась стилистика.

Чтобы нейросеть хорошо запомнила нужный субъект, нужно правильно подготовить изображения, на которых DreamBooth будет обучаться:

Мы рекомендуем следовать следующим правилам при сборке датасета для стиля:

2. ОБУЧЕНИЕ

Итак, мы подобрали скриншоты, теперь переходим к самому процессу обучения в DreamBooth.

Что такое DreamBooth? Это модель, отвечающая за обучение, которая по сути говорит ИИ, что есть вот такой субъект (это может быть что угодно от сумок и машин до персонажей и стилей), запомни как он выглядит.

Для этого мы добавляем ноду Import files и ноду DreamBooth, соединяем сокеты (небольшие цветные точки около Inputs и Outputs) из Import files в DreamBooth.

В нашем Phygital+ интерфейсе мы оставили самые необходимые настройки в ноде DreamBooth, вам остается лишь придумать уникальное имя к вашему датасету.

Обратите особое внимание на то, что количество Class images стоит на минимальном значении 10. Если оставить на базовом 100, стилистика может выдавать результаты хуже.

Количество шагов напрямую зависит от количества исходных изображений. Мы рекомендуем использовать минимум 20 исходных картинок, но чем больше референсов, тем лучше. Для 20 изображений количество в 2000 шагов будет достаточно. Один из наших клиентов обучал на 300 изображениях и только на 5000 шагах стиль начал передаваться. В коммьюнити советуют считать количество шагов по формуле: количество картинок в датасете х 100. Мы советуем начать с умножения на 15-20.

Теперь можно запускать ноду и дождаться результата. В итоге мы получим кастомную модель, которая появится в ниспадающем списке в Stable Diffusion. После обучения вы увидите баннер в DreamBooth и все, что осталось сделать – это начать работать с полученной моделью.

3. ГЕНЕРАЦИЯ

Для генерации в списке My models в Stable Diffusion выбираем нужный нам вариант с именем, которое мы придумали несколькими шагами ранее.

Генерация ассетов из текста

Чтобы сгенерировать гейм ассеты, нам нужно вписать в поле промпта нашу идею и добавить в конце названия стиля точно также, как он был описан в DreamBooth ноде. В нашем случае это ‘in the style of ProjectWinterGame’

Вот как нейросеть справляется с задачей создания нового персонажа или рестилизации уже известного человека.

С помощью этого метода можно генерировать локации и окружение.

Таким образом можно сгенерировать и иконки. Для этого мы просто пишем то, что хотим увидеть, и при получении нужного результата удаляем быстро фон с помощью другой ноды.

Для продвинутых пользователей

В Phygital+ доступны две DreamBooth ноды: они соотносятся с тем, на базе какого Stable Diffusion нужны будут результаты. Отличие будет состоять только лишь в том, как вы будете генерировать в SD концепты. При обучении на DreamBooth 2.1 генерировать можно только с использованием карты глубины и входного изображения. Такой вариант идеально подойдет тем, кому нужно сгенерировать иконки, например. Если вас интересует обычная генерация без привязки к входному изображению и вы хотите генерировать просто из текста, в этом случае советуем обучать на обычном DreamBooth

Генерация по референсу с помощью текста

Пайплайн генерации здесь будет также отличаться, так как нам нужен Stable Diffusion 2.1 версии, в котором поддерживается карта глубины (которую легко можно сделать в ноде MiDAS: Depth perception). Благодаря такому методу значительно легче генерировать нужные концепты в нужном ракурсе и с нужной стороны. Стилистика также будет лучше передаваться

Вот так с помощью нейросети Stable Diffusion и DreamBooth можно создавать уникальные новые ассеты для игр в любой стилистике. Наш продукт Phygital+ сейчас находится в Open alpha, поэтому вы уже сейчас можете попробовать новые пайплайны для решения креативных и бизнес задач. Если у вас остались какие-то вопросы или предложения, пишите нам, и команда Phygital+ поможет реализовать крутые креативные проекты: )