Capybaras Paws

Все файлы моделей safetensors нужно положить в папку \ComfyUI\models\checkpoints, файлы VAE в \ComfyUI\models\vae

Коллега Replicart опубликовал в блоге улучшенный пайплайн рисования на SDXL. Дайте модели второй шанс, она приятно вас удивит.

Обратите внимание на результат: базовое изображение сильно зашумлено, изображение после рефайнера выглядит пристойно. Именно так по документации работает модель: генерируется "улучшенный" шум, из которого вытягивается итоговое изображение.

Генератор в дискорде накидывает дополнительные стили и использует какой-то очень хороший негатив. С локальной 1.5 сравнение будет некорректно.
Модель не всегда слушается промпта. Например, здесь модель не смогла сотворить contre jour.

Спасибо вам за комментарии! Теперь я настроен оптимистичнее по отношению к SDXL. Но скепсис всё равно остался.

Главный вопрос: станет ли кто-то дообучать модели, если из коробки в моделях беды с анатомией, а дообучение до возможностей 1.5 потребует датасета на много терабайт.

Датасет на 5М изображений для коммерческой модели считается весьма скромным. Думаете, что найдутся энтузиасты с датасетами на 10-15М изображений и дообучат SDXL всеми необходимому?

Только что нарисовал в дискорде, аналогичный рисунок есть в посте. Выглядит значительно лучше, но беды с анатомией видны не вооружённым глазом.

Тоже заметил такую проблему: мои рисунки из дискорда или StableStudio выглядели приемлемо. Чужие рисунки в дискорде или браузерной версии разного качества, в среднем выглядят хорошо. Из дискорда получше, из браузерной похуже.

Получается, что проблема исключительно в локальной версии SDXL или в неправильно настроенном пайплайне для ComfyUI.

Спасибо за развёрнутый комментарий! Вижу, что вы лучше меня понимаете что происходит с SDXL Очень интересно обменяться с вами мнениями и опытом.

Сравниваем то, как модель слушается промпта. SDXL чуть лучше слушается в браузерной версии (на ресурсах StabilityAI), и значительно хуже в локальной. В обоих случаях модели далеки в качестве понимания промпта от 1.5. Проблему отметил не только я, но и многие сильные промптеры, с которыми знаком. Вывод сделан не только на попытках порисовать на неудачном пайплайн, но по опыту работы с веб-версией. Охотно верю, что плохие результаты локальной версии целиком зависят от неэффективного пайплайна, который надо переделывать с нуля. Но это не объясняет беды веб-версии.
Проблема модели не только в отсутствии NSFW (не только порно), но эта — ключевая.

1. Не знаю какой подход к версионности в StabilityAI, но 0.9 звучит как "почти релиз". Хочется надеяться, что в 1.0 всё будет лучше, но это непросто.
2-3. Ждём релиза и появления в открытом доступе более эффективных схем. Других вариантов у нас нет.
4. Да, в SDXL на старте будут основные инструменты. Если окажется, что скептецизм сообщества не обоснован — инструменты перевернут игру.
5-6. Отсутствие обнажённых тел ухудшает генерацию одетых. Чтобы выдать корректную анатомию модель должна понимать как устроено тело человека. В SDXL этого из коробки нет и потребуется дообучение на огромных датасетах. Из любопытства тестировали раздетых людей. Модель старается нарисовать одежду даже когда явно прописано отсутствие одежды. При описании чего-то совсем развратного модель включает дуру и отказывается рисовать совсем, вплоть до генерации абстракций.

Прямо сейчас нет инпейнт моделей SDXL, обрабатывать придётся на 1.5 (но эта разница не критична).

На всех моделях 1.5 это работает идеально. Как будет работать на SDXL — узнаем после релиза моделей.

Конкретно в ComfyUI всё на нодах. Во владмандике всё в привычном нам виде, это форк автоматика.

Негатив заведён и в генерации участвует. Но, по ощущениям, привычные негативы из 1.5 почти не влияют на результат.

Такое ощущение, что локальная SDXL не очень дружит со стандартными для 1.5 негативами и нужно придумывать что-то новое. С лицами всё неплохо, когда повезёт.

Я тоже не рисую NSFW (это не только обнажёнка, но и зомби, монстры и кровища). И меня тоже огорчает, что основное применение диффузии сейчас связано с рисованием грудастых дев и переделкой танцующих детей из тиктоков.

Файн-тюнеры, затачивая модель под NSFW существенно повышают качество генераций хоть SFW, хоть пейзажей с абстракциями. Такая вот странная синергия.

Модели 2.0 и 2.1 вышли достаточно давно. И как, много кастомных версий? Популярные модели уже перешли с версии 1.5 на 2?
Пессимист — это хорошо информированный оптимист.

Вы правы, тут я схулиганил.
Есть показательное сравнение на трёх моделях, можно ориентироваться на него: https://github.com/TonyLianLong/stable-diffusion-xl-demo/blob/benchmark/benchmark/README.md

Но, если честно, базовая 1.5 рисует интереснее, чем SDXL 0.9.

Пережжёная картинка на моделях Суши сильно зависит от сида.
Добавление adddetail с силой 1.2 часто усугубляет ситуацию.

Анатомия рук всё равно никуда не годится. Что у меня, что у вас. Этот результат весьма далёк от коммерческих иллюстраций.

Если рисовать по много сотен штук за раз (о чём пишет автор EnvyBetterHands) в какой-то момент, да, получится иллюстрация коммерческого уровня и без инпейнта.

Следовал по вашему руководству с небольшими отличиями (на хайрезе использовал ультрашарп и гойн, забыл поменять стандартные настройки).

Даже если взять в скобки пережжёную картинку всё равно не получается иллюстрация коммерческого уровня без инпейнта.

Всё ещё не понимаю суть вашей задачи, у меня отсутствует опыт работы с софтом для работы с 3д. Можете объяснить простыми словами, не используя индустриальные термины?

Встречал информацию о плагинах, которые встраиваются в Blender (или 3D Max?) и позволяют рисовать 2д изображение по 3д сцене. Этот способ даст больше контроля, но многократно увеличит время на подготовку позы.
Если вы имели ввиду это, то описанные в заметки инструменты не подойдут.

Привет! Не совсем понял вопрос. Вам необходимо рисовать что-то двуногое, но не антропоморфное, верно? Можете показать пример?

Да, это нормальное поведение для многих моделей. Некоторые лучше понимают слитное написание, чем раздельное (closeup вместо close up).
Иногда для улучшения результата нужно повышать вес токена.

Очень хорошо, если есть возможность экспериментировать при составлении промпта и пробовать подбирать нужный формат написания и нужный вес.

Вопрос решён: проблема была в неточности в справке (вместо enter нужно было нажимать "сохранить").

Справка обновлена, почта привязана. Огромное спасибо команде DTF за оперативность!

Помимо всего перечисленного в посте, Вита отлично умеет в веб-сёрфинг.

По опыту использования более мощной машины целиком на воздушном охлаждении от Noctua в шумопоглощающем корпусе be Quiet скажу, что ничего у вас не выйдет.

Моя машина, под небольшой нагрузкой (браузер с сотней вкладок, мобильная игра в редакторе Unity, несколько мессенджеров и фотошоп), достаточно тихая, 34-37 дБА.
Но при запуске современных ААА игр уровень шума возрастает до 44-48 дБА.

Что-то действительно тихое и бесшумное под высокой нагрузкой получится собрать лишь на водяном охлаждении и с огромным радиатором.
Но вам придётся увеличивать весь бюджет на машину, т.к. видеокарты ниже 3080 вроде как не бывают с водяным охлаждением, а полный набор для постройки мощной системы охлаждение обойдётся в 50 и более тысяч рублей.

Вдруг код не привязан к аккаунту? Забирайте, мне ни к чему.

Приложение-компаньон должно создавать дополнительные возможности по взаимодействию с игрой, не забирая на себя функции, которые будут работать лучше внутри само́й игры.

Например, карта мира в приложении лишена смысла. Взаимодействовать с картой, отметками или маршрутами намного удобнее на большом экране монитора и перенос/дублирование функции на крошечный экран телефона лишь ухудшит пользовательский опыт.
То же самое касается сбора билдов, калькуляторов или настройки персонажей — при должном подходе к проектированию интерфейса эти функции будут лучше работать внутри основной игры, чем за её пределами.
Тамагочи или ферма будут расстраивать игроков, при необходимости регулярно запускать эту мини-игру для получения бонусов в основной игре; и будет совершенно бесполезна, если бонусов давать не будет.

Набор возможностей потенциального приложения-компаньона для Diablo IV может состоять из следующих функций:

1. Информационный раздел.
• Блог разработчиков (новости, анонсы, патч-ноуты)
• Подписка на напоминания о начале и завершении игровых эвентов, лиг и прочих длительных событий

2. Доступ к социальной части без необходимости запускать игру.
• Чаты (гильдия, друзья, приватные), с переносом стории между приложением и игрой.
• Возможность создать объявление для гильдии в формате «собираю пати на Х в Y часов» или механизм присоединения к таким пати. Получать уведомление при наступлении назначенного времени.
• Возможность просматривать профили друзей/сокланов/контактов.
• Доступ к игровым таблицам лидеров с возможностью просматривать детальную информацию (например, статистику и профили). Получать уведомление при снижении рейтинга (если игрок в топе).

3. Доступ к аукциону/торговой площадке/обмену.
• Пока нет информации, как будет выглядеть механика в Diablo IV, но доступность к функциям в любое время окажется полезной, если игрок активно продаёт/покупает/меняет предметы.

4. Управление инвентарём.
• Перенос снаряжения между персонажами.
• Перенос снаряжения от персонажа в хранилище.
• Управление прочими ресурсами игрока, например запуск действия (ковка снаряжения, варка зелья), которое выполняется длительное время.

5. Профиль игрока
• Информация обо всех персонажах с возможностью просмотреть снаряжение
• Ачивоньки, статистика, etc.
• Боевой пропуск с возможностью докупить уровни и забрать награды.

6. База знаний по игре
• Бестиарий, карта, описание локаций, etc + возможность отправить ссылку на любую страницу через внутриигровую переписку или во внешний мессенджер.

По идее через HDMI тоже получится, но с более производительной картой.

Наверное я один из немногих, кто не продавал предыдущее железо.
Буду признателен, если подскажите как переставить видеокарту из ноутбука, пускай и "игрового", в десктоп.

Моя 3080 Ti всё никак не доедет, пока 1:0.

Очень больно. Особенно переживаю за 2К@144Hz монитор, который работает с GT 1030 в каком-то инвалидном режиме.