Генерируем аниме-арт в Stable Diffusion - добавляем модель NovelAI

Не так давно в сеть попали исходники NovelAI с целой драммой и шитштормом. Но разбираться в этом не хочеться, а вот то, что можно генерировать с ее помощью меня заинтересовало. Так под сборку Stable Diffusion появилась обученная модель, которая умеет генерировать аниме-арт. В данном гайде будет информация как добавить данную модель, а также рассмотрим один промпт (основу для которого я нашел на реддите и откорректировал под себя) с влиянием настроек на итоговый результат. В заключении будет несколько других промптов из сети и мои результаты.

2. Скачиваем модель, модули и др. файлы NovelAI через любой удобный торрент-клиент:

magnet:?xt=urn:btih:5bde442da86265b670a3e5ea3163afad2c6f8ecc&dn=novelaileak

После скачивания файлов их необходимо переименовать:
model.ckpt в novelai.ckpt
animevae.pt в novelai.vae.pt
Так же можно взять вместо NSFW-модель цензурную версию (SFW-модель).

3. Копируем файлы из п.2 в папку с Stable Diffusion:
novelai.ckpt и novelai.vae.pt в \stable-diffusion-webui\models\Stable-diffusion
Файлы из папки modules (aini.pt, anime.pt и т.д.) в \stable-diffusion-webui\modules\hypernetworks

4. Запускаем Stable Diffusion и переключаем моделей нейронки в левом верхнем углу

Модули можно переключить в настройках (Settings), но в данном случае я их не использовал.

5. Теперь мы готовы скармливать нейронке промты и получать аниме-арты.

Нижеприведенный промпт я буду разбирать в живую, поэтому заранее не знаю какие результаты буду получать. Лишь мой предыдущий опыт работы с данным промптом подсказывает оптимальные настройки и возможные результаты. Что же, приступим к разбору промпта.

Первым дело указываем Promt (то что мы хотим увидеть) и Negative Prompt (и то что не хотим). Остальные параметры я указываю те, что в предыдущих попытках давали интересный результат. Детальный разбор будет чуть позже.

Prompt: fierce female elf, (dark hairs), strong, freckles, lot of details, perfect hands, high quality, detailed, refined, ((masterpiece))
Negative prompt: blurry, deformed face, deformed hands, deformed fingers, ugly, bad anatomy, extra fingers
Sampling Steps: 30
Sampling method: Euler a
CFG Scale: 5,5
Seed: 2144077799
Size (width x heigt) 500x500
//Model hash: 925997e9
//Модель нейронки novelai.ckpt [925997e9]

Результат превзошел мои ожидания – получился аватар в стиле Arcane. Мои предыдущие результаты были примерно такими (промпт мог незначительно отличаться, как и настройки CFG Scale, Steeps):

Рассмотрим основные параметры, которые влияют на получаемый результат:

Seed – набор входных переменных для нейронки. В начале оставляем как есть (-1 или просто нажимаем на кубик) и генерируем изображения на небольшом количестве Sampling Steps (больше шагов, дольше нейронка рисует изображение), смотрим что нам начинает нравиться. Фиксируем данный Seed и работаем с ним дальше.

Sampling Steps (Шаги) – я начинаю с интервала 20-30. Уменьшение шагов «упрощает» итоговый результат, «выпрямляет» линии, но можем получить и совсем простенькие результаты. Вот так выглядит арт выше, если поставим другое количество шагов:

20 шагов – тут нейронка даже не нарисовала лицо. Неудачное значение шагов.
30 шагов – это базовый результат, который я получил. Мне нравиться.
40 шагов – мы получили больше деталей, но пропорции получились не красивыми. Когда мы получаем похожий результат, я советую незначительно изменить количество шагов.
50 шагов – мы получили совсем другую композицию. Интригующий результат (получили капюшон, хотя его в промптах не было). Но мне больше понравился вариант с 30 шагами.

Суммируем: если вы ввели промты и получили что-то не понятное, то попробуйте уменьшить/увеличить количество шагов. Мы можем получить результат с более приятными пропорциями или даже совсем другую композицию.

Примерно схожим образом работает CFG Scale (параметр, отвечающий насколько сильно нейронка может отходить от промпта и генерировать более креативные варианты). Рассмотрим работу данного параметра с данным промптом с предыдущего шага (30 steps):

4,0 CFG – мне просто не нравиться. Но результат не прям ужасный. Можно поиграться с параметром Steps и посмотреть, что мы получим. Просто помните, что возможно для улучшения вашего результата поможет уменьшение CFG.
5,5 CFG – основываясь на моем опыте с работой данного промпта я снова выбрал хорошее значение. Мне нравиться.
12,5 CFG – имеет место быть. Мы получили более детализированное изображение. Хороший результат.
24,0 CFG – явный перебор. Получилась какая-то ящерица. Мне не нравиться.

Суммируем: для данного промпта хорошие значения до 12,5 CFG. Возможно интересные результаты будут и на значениях 13-20, но мне нравиться вариант с 5,5 CFG. В целом же с низким значением CFG нейронка генерирует более креативные варианты, и наоборот высокое значение CFG ограничивает "фантазию" нейросети.

Еще на результат влияет размер изображения (пропорция). Рассмотрим варианты:

Мы получили три разных изображения. Экспериментальным путем мы узнали, что промт работает для разных композиций.

Из интересного можно подметить, что:
256х512 – получилось детализированное изображение, но качество отдельных элементов хромает. Для данной пропорции я бы увеличил количество шагов (думаю до 40) и смотрел бы дальше, что можно получить.
512х512 – базовый вариант
1024х512 – интересный вариант композиции. Пропорции тела немного страдают, как мне кажется. Для данного варианта я бы поигрался с CFG Scale и посмотрел куда это меня приведет. Но Steps тоже можно покрутить (и как в сторону увеличения, так и уменьшения).

6. Когда мы получили результат который нас устраивает, то можем увеличить разрешение во вкладке “Extras”.

Resize – во сколько раз увеличить исходное изображение. Также можно увеличивать разрешение до нужных (вкладка "Scale to"). Я выбрал х4.
Upscaler 1/2 – это разные алгоритмы. Мне больше всего понравился результат SwinIR_4x. Советую прогнать через несколько алгоритмов (Lancsoz, LDSR и т.д.) и выбрать тот, который вам больше понравился.

7. И приведу несколько промптов из сети и мои результаты:

prompt: ((masterpiece)), painting of a ((Mandalorian)) bounty hunter, Star wars, Tatooine, space, stars, art by John J. Park
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 150, Sampler: Euler a, CFG scale: 11, Seed: 3998559443, Size: 512x704, Model hash: 925997e9

Procopic, thick outlines, ((mohawk, shaved sides)), 1girl, (vibrant) deep shadows, deep space, ((80s, scifi, movie poster)), skin tight spacesuit, jumpsuit, (power armor), ((small breasts)), closeup, detailed eyes, torso, headshot
Steps: 40, Sampler: Euler a, CFG scale: 11, Seed: 1148800190, Size: 448x704, Model hash: 925997e9

Prompt: masterpiece, best quality, masterpiece, asuka langley sitting cross legged on a chair
Negative prompt: nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name
Steps: 28, Sampler: Euler a, CFG scale: 12, Seed: 2870305590, Size: 512x512, Model hash: 925997e9

Prompt: ((BEST QUALITY)), ((MASTERPIECE)), ((HIGH RES)), ((CINEMATIC LIGHTING)), ((DETAILED)), ((TELEPHOTO LENS)), beautiful hd background, high detailed background, (realistic shadows), HD shadows, (((midjourney))), tarte (hodarake), Anor Lando, avataart, Andy Livy, by dark album, god teir background art, realistic, realistic portrait, masterpiece portrait, ((((((MASTERPIECE)))))), sharp, photo realistic, background focus, (((((background only))))), futuristic city, future, advanced technology, neon lights, holograms, flying ships, buildings metalic silver , advanced civilization, year 5096 , science fiction, sci-fi, futuristic dome, matrix
Steps: 40, Sampler: Euler a, CFG scale: 10, Seed: 421687967, Size: 1024x512, Model hash: 925997e9

8. Заключение

Мне понравилась модель NovelAI и те результаты, которые я получил уже на первом промтпе. Написание гайда помогло структурировать влияние исходных параметров на итоговый результат.

Надеюсь данный гайд и приведенные в нем промпты и параметры вдохновят большее количество людей на знакомство с нейросетями.

Напоследок хотел дать наставление - не бойтесь эксперементировать с входными параметрами. Ведь никогда не знаешь какой результат можешь получить лишь незначительно изменив только один из них. Как если бы в самом начале я выбрал 20 шагов и получил результат, где не было лица, то я не увидил итоговый результат, который мне очень понравился.

#Нейросети #stablediffusion #NovelAi