Вышла Stable Diffusion 2.0
Open-source генеративная нейросеть получила крупный апгрейд
Всего месяц прошел с предыдущего релиза нейросети версии 1.5, а Stability-AI уже выложила новую версию базовой модели Stable diffusion (а точнее - 4 с половиной версии), улучшающую общее качество создаваемых изображений и дающую дополнительные возможности для генерации:
- Отдельная модель, обученная на изображениях с разрешением 768*768. У изображений такого разрешения больше не должна ломаться композиция. Больше исходное разрешение - меньше проблем повысить разрешение до 4к и выше. Ссылка на модель - https://huggingface.co/stabilityai/stable-diffusion-2/blob/main/768-v-ema.ckpt
- Модель с отдельным слоем распознавания глубины на изображениях. Позволяет лучше переносить сохранять глубину в методах img2img и inpainting, будет полезно при генерации вариаций скетчей и фотографий - Ссылка на модель - https://huggingface.co/stabilityai/stable-diffusion-2-depth/blob/main/512-depth-ema.ckpt
- Новая версия inpainting модели, умеющей управляемо сохранять формы и детали исходного изображения при перерисовке. Ссылка на модель https://huggingface.co/stabilityai/stable-diffusion-2-inpainting/blob/main/512-inpainting-ema.ckpt
- Новая модель-апскейлер на базе самого Stable Diffusion, натренированная повышать разрешение с 512*512 до 2048*2048. Ссылка на апскейлер - https://huggingface.co/stabilityai/stable-diffusion-x4-upscaler/blob/main/x4-upscaler-ema.ckpt
Для запуска новых моделей в текущих программных сборках Stable Diffusion вроде Automatic1111, NMKD, InvokeAi создателям необходимо внести небольшие правки в код, поэтому ждем обновленных версий ПО сборок в ближайшее время.
С генерацией NSFW в этих новых моделях будет не очень хорошо, т.к создатели утверждают, что в их новом отобранном датасете для обучения таких изображений не было.
Для желающих почитать сайт с оригинальной новостью:
С генерацией NSFW в этих новых моделях будет не очень хорошоНу и зачем оно надо тогда?
Новые модели, которые научат на NSWF изображениях поверх базовой 2.0, будут лучше. Но вообще гадство, да.
Это нам надо.
Что там с пальцами?
Апдейт - текстура у рук стала получше, но с количеством пальцев все еще не очень хорошо https://www.reddit.com/r/StableDiffusion/comments/z3a4ye/prompt_woman_showing_her_hands_on_stable/.
Пока хз. Но для части новых моделей они и так уже хорошо рисовались. Для других есть уже гениальная по простоте идея - негативные текстовый эмбеддинг bad_promt, которая выправляет много косяков с анатомией https://www.reddit.com/r/StableDiffusion/comments/yy2i5a/i_created_a_negative_embedding_textual_inversion/
С правильным Promt и каплей везения, они и в 1.4 норм были