Обучение DreamBooth на уникальных моделях

Художники, маркетологи и дизайнеры уже вовсю используют ИИ, но часто сталкиваются с проблемой: как отобразить уникальный стиль проекта? Сегодня мы расскажем вам как создавать ИИ-модели с конкретным персонажем в комбинации с уникальной стилистикой и научим делать такие же крутые аватары с помощью инструмента DreamBooth.

В нашей заметке мы кратко опишем обновленный процесс обучения, дадим рекомендации по использованию кастомных чекпоинтов при обучении и их настройкам и поделимся советами по улучшению результатов для начинающих и продвинутых пользователей.

Используя DreamBooth, мы можем обучить нейросеть Stable Diffusion на любом человеке, объекте или стиле, и после генерировать с ними различные изображения. Как обучать на каждом из перечисленных юзкейсов мы рассказывали подробно в нашем туториале.

Процесс обучения на уникальных моделях достаточно простой, вам потребуется всего два шага – это подготовить датасет (изображения, на которых будет тренироваться нейросеть) и выставить рекомендованные настройки.

Сперва для обучения на человеке или персонаже нужно отобрать минимум 5-7 (оптимальное число – 15-20) фотографий хорошего качества, на которых виден весь овал лица и присутствует один человек в кадре. Более подробно про подготовку датасета для обучения тут.

Вот какие фотографии были нами отобраны для примера:

Итак, для обучения модели мы будем использовать Phygital+ – в нодовом веб-интерфейсе оставлены только нужные настройки, и он дает возможность как и опытным, так и начинающим пользователям попробовать обучение. Выставленные стандартные настройки универсальны для генерации аватаров, что облегчает работу с первым обучением на персонаже или человеке.

Сначала добавим ноду DreamBooth и ноду Import files, которую потом соединяем с нодой DreamBooth, потянув за вытянутый оранжевый кружок.

Далее мы выбираем определенную стилистику, на которой будем обучать SD. Это относительно новая настройка внутри DreamBooth, которая представляет собой выбор одной модели из списка существующих кастомных чекпоинтов Stable Diffusion (предобученных на одном стиле).

Чтобы определиться, какую именно модель вам выбрать, вам стоит задать себе вопрос:

Если вы хотите изображать качественный реализм, то с этим справятся такие модели как Edge of Realism, Realistic Vision, Deliberate, Lyriel или Epic Realism. Они также позволяют генерировать различные сценарии – от людей до пейзажей и абстракций. Преимуществом использования этих стилей вместо обычной SD является более точное воспроизведение фотореализма и снижение количества артефактов.

Если хотите приблизиться к стилю определенного художника или фильма/сериала, то вы можете выбрать такие стили как Samdoesarts, Modern Disney, Inkpunk или SynthwavePunk. При генерации они будут лучше всего делать людей и персонажей, а с другими сценариями могут возникнуть сложности.

Список кастомных моделей регулярно обновляется, мы постоянно добавляем новые стили, а также очень скоро выпустим Train AI Panel, в котором откроем возможность проще добавлять свои собственные модели. На данный момент в нашем интерфейсе доступно более 30 моделей для обучения и генерации.

В зависимости от того, какую модель вы выбрали, заполняем поле Class images.

Если мы говорим про фотореалистичный кастомный чекпоинт, то необходимо написать ‘a photo of a woman, ultra detailed’ или ‘a photo of a man, ultra detailed’. (Pro Tip: вы можете сюда вписать любой промпт, который отлично генерирует портретные фотографии в SD 1.5).

Если вы обучаете на другой более конкретной стилистике (например, SamDoesArts), то при выборе модели у вас автоматически подставится промпт в Class images с прочерком. Вместо прочерков впишите ‘a portrait of a woman’ или ‘a portrait of a man’. Очень важно не стирать автоматически вписанное слово, иначе стиль не будет воспроизводиться.

Теперь нам осталось лишь заполнить поле Subject, в котором текст должен состоять из двух частей: уникального имени и пола человека, на котором обучаем. Здесь важно выбрать такое имя, которое неизвестно нейросети (Pro Tip: используйте ваше имя + фамилия/никнейм). В нашем случае мы назвали DariaWind, a woman.

Всё готово для обучения – нажмите на кнопку Start. В течение получаса вы получите вашу обученную модель и в ноде появится соответствующий баннер.

Теперь переходим к самому интересному – генерации изображений с полученной моделью.

В качестве примера мы обучили нейросеть на основе модели Dreamlikeart, которая создает стилизованные под digital art изображения. Чтобы начать генерировать с ней, мы добавляем ноду Stable Diffusion 1.5, в Text prompt вписываем название нашего Subject и ключевое слово стиля (при обучении на уникальной конкретной стилистике с ключевым словом – список ключевых слов для конкретной модели вы можете найти тут). Далее нажимаем на Start и ждем наших результатов примерно 30-40 секунд:

Если вдруг вам не понравился результат, советуем попробовать один из следующих методов:

1. Добавить негативный промпт

2. Добавить дополнительные слова в промпт (о том, как писать промпты и какими инструментами можно пользоваться для облегчения написания промптов мы рассказывали в нашей предыдущей статье)

3. Поменять seed (отвечает за вариативность – каждый сид дает свой уникальный результат)

4. Поменять размер изображения (для портретов лучше всего сгодится вертикальное разрешение)

Если стилизация есть, но человек не всегда похож на себя, это можно решить с помощью variations. Понравившееся изображение увеличиваем (наводим на изображение и во всплывающем окне с иконками выбираем Upscale) до 1024х1024, оно будет нашим Start Image. Далее копируем ноду, и соединяем.

В результате у нас качественное изображение с нужным стилем и узнаваемым персонажем.

Все равно получаете плохие результаты? Возможно, ваш выбранный стиль нуждается в слове-триггере. Это можно посмотреть в описании стиля на AI Library. Также советуем еще раз перепроверить, соответствуют ли всем требованиям отобранные фотографии для датасета.

Если после устранения недочетов ваша модель не показывает нужных результатов, то обращайтесь за помощью к Phygital+ через соц.сети (Twitter, Телеграм, Discord). Наша команда и сообщество креаторов рады поделиться знаниями и советами!

#dreambooth #stablediffusion #гайды