Илон Маск кисти Ван Гога, или специализированные модели Stable Diffusion

Благодаря сообществу, stable diffusion развивается стремительнее, чем можно было предположить. Как я писал в предыдущей статье, вскоре мы должны получить много специализированных моделей под конкретные задачи.

Уже сейчас помимо основной модели весов у stable diffusion есть модели для получения артов в строго определенном стиле.

В этой статье я покажу как это работает на практике и дам небольшую инструкцию для начинающих по добавлению специализированных моделей.

Существует “стандартная” модель (которую недавно обновили до версии 1.5), а есть специфические вариации, дополнительно обученные на конкретном наборе изображений. Например, модель mo-di-diffusion, которую тренировали на персонажах современного диснея.

Чтобы понять как именно изменяется результат, я провел несколько генераций со “стандартной” моделью версии 1.4, а потом с теми же промптами генерировал изображения в специализированных моделях. Весь материал дан для наглядности, я не слишком старался искать лучшие результаты и генерировал за раз не более 10 картинок по каждому запросу.

Результаты “стандартной” модели (промпты под картинкой):

Теперь о некоторых интересных моделях которые есть сейчас

Все генерации я делал с теми же промптами, добавляя в начале рекомендуемые ключевые слова (токены):

Arcane-Diffusion – модель натренирована на популярном мультфильме во вселенной League of legend

Токен: arcane style

DarkSoulsDiffusion – натренирована на артах из серии игр Dark Souls

Токен: DarkSouls Style

mo-di-diffusion – уже упомянутая модель, натренированная на кадрах из современных мультфильмов Диснея

Токен: modern disney style

redshift-diffusion - натренирована на изображениях полученных с помощью рендера redshift

Токен: redshift style

Tron-Legacy-diffusion – модель на кадрах из фильма “Трон: Наследие”

Токен: trnlgcy

Van-Gogh-diffusion – на кадрах картин Ван Гога из фильма “Ван Гог. С любовью, Винсент”

Токен: lvngvncnt

beksinski-style-stable-diffusion – картины польского художника сюрреалиста Здислава Бексински

Токен: beksinski style

Как видно из примеров, специализированные модели плохо справляются с нехарактерными для них запросами. Финальный результат во многом зависит от ваших стараний: поисков удачного промпта, количества генераций, настроек и т.д.

Как добавить новые модели и начать работу?

Упрощенно, модель - это файл с расширением .ckpt и весом в несколько гигабайт.

По умолчанию вы работаете со стандартной моделью

Чтобы установить новую модель:

Если у вас есть какой-то из интерфейсов, то там, как правило, есть возможность в настройках произвольно выбирать модель.

Чтобы воспользоваться установленной моделью, вам надо в промпте прописать специальную ключевую фразу (токен), после чего уже добавить описание, по которому будет генерироваться изображение.

Для удобства в примерах выше я оставил ссылки на использованные модели и токены для промпта.

Если я не упомянул какую-то интересную на ваш взгляд модель – напишите о ней в комментариях. При достаточном интересе к теме, соберу еще одну подборку примеров с интересными моделями.

Другие мои статьи:

Давайте запретим нейронные сети!

Нейросети убьют 2d художников

Кому и почему не стоит работать в компаниях мечты

Короткий эксперимент со Stable Diffusion

теги:

#stablediffusion #2dart #illustration #gamedev