Вышла Stable Diffusion 2.0

Open-source генеративная нейросеть получила крупный апгрейд

Гифка c результатами обновленного метода inpainting

Всего месяц прошел с предыдущего релиза нейросети версии 1.5, а Stability-AI уже выложила новую версию базовой модели Stable diffusion (а точнее - 4 с половиной версии), улучшающую общее качество создаваемых изображений и дающую дополнительные возможности для генерации:

  • Отдельная модель, обученная на изображениях с разрешением 768*768. У изображений такого разрешения больше не должна ломаться композиция. Больше исходное разрешение - меньше проблем повысить разрешение до 4к и выше. Ссылка на модель - https://huggingface.co/stabilityai/stable-diffusion-2/blob/main/768-v-ema.ckpt
  • Модель с отдельным слоем распознавания глубины на изображениях. Позволяет лучше переносить сохранять глубину в методах img2img и inpainting, будет полезно при генерации вариаций скетчей и фотографий - Ссылка на модель - https://huggingface.co/stabilityai/stable-diffusion-2-depth/blob/main/512-depth-ema.ckpt
Пример сохранение глубины с наброска в img2img

Для запуска новых моделей в текущих программных сборках Stable Diffusion вроде Automatic1111, NMKD, InvokeAi создателям необходимо внести небольшие правки в код, поэтому ждем обновленных версий ПО сборок в ближайшее время.

С генерацией NSFW в этих новых моделях будет не очень хорошо, т.к создатели утверждают, что в их новом отобранном датасете для обучения таких изображений не было.

Для желающих почитать сайт с оригинальной новостью:

124124
74 комментария

С генерацией NSFW в этих новых моделях будет не очень хорошоНу и зачем оно надо тогда?

46
Ответить

Новые модели, которые научат на NSWF изображениях поверх базовой 2.0, будут лучше. Но вообще гадство, да.

17
Ответить

Комментарий недоступен

2
Ответить

Что там с пальцами?

5
Ответить

Апдейт - текстура у рук стала получше, но с количеством пальцев все еще не очень хорошо https://www.reddit.com/r/StableDiffusion/comments/z3a4ye/prompt_woman_showing_her_hands_on_stable/.

8
Ответить

Пока хз. Но для части новых моделей они и так уже хорошо рисовались. Для других есть уже гениальная по простоте идея - негативные текстовый эмбеддинг bad_promt, которая выправляет много косяков с анатомией https://www.reddit.com/r/StableDiffusion/comments/yy2i5a/i_created_a_negative_embedding_textual_inversion/

4
Ответить

С правильным Promt и каплей везения, они и в 1.4 норм были

4
Ответить