Мысли по поводу Stable Diffusion 2.0 — НейроИскусство на DTF

А есть ли прогресс?

Моя первая картинка в SD2.0; art of crow on tree branch, dark fantasy, forest, night, stars, moon, aesthetic

Что изменилось, и что круто:

Апскейлер на основе SD2.0. Реально полезное и крутое нововведение, качество апскейла очень впечатляет. Неоспоримо очень круто.
deep2img. img2img на основе глубины картинки. Выглядят годно, но нужно тестировать. С 3д получается безусловно хорошо, но скорее интересно, как будет с 2д.
Отдельная модель для 768х768. То, что SD движется к генериции в более высоком разрешении - хорошо, но, не могу не подушить: намного лучше было бы, если SD наконец научилась генерировать широкоформатные картинки.

А теперь к плохому:

Качество генерации улучшилось не значительно. Картинки от SD1.4/1.5 и 2.0 сложно различить.
Убрали художников. Кожаные мешки могут радоваться, SD2.0 на старте не будет их заменять. Из пула для обучения ублали очень много артов современных художников, поэтому генерировать что-то кроме генерик фотографий будет сложно. Да, веса в открытом доступе и никто не запретит обучить нейронку на этих самых артах, но это сложно, долго и вероятнее всего, для качественного обучения ещё и дорого.
Убрали NSFW, прямо на уровне модели, просто отфильтровав датасет. Плохо это не только по очевидным причинам, но и из-за того, что многие NSFW изображения ещё и вполне эстетичные и без всякой похабщины. То бишь страдает итоговый результат, даже для обычных картинок.

Что думаете, товарищи? Стоят ли того эти улучшения?

#stablediffusion #stablediffusion20

14 комментариев

Александр Головин

24.11.2022

Как уже писали, убрать стилизацию от художников - это прям эпик фейл. Зайти вон на какую нибудь лексику - там сложно найти что то без кучи доп стилей по именам. Ну и опять же, обучающая выборка обеднела.

NSFW - тут спорить можно долго и упорно, но таки да, то что сеть даже не вкурсе что там под одёжкой - сомнительное нововведение. Да и из за этого новой моделью просто не будет пользоваться некислый пласт людей. Не будет артов "на грани", скорее всего, или их сложнее будет получить. В общем тут в любом случае минус.

Ответить