Установка эпохальной нейросети FLUX в ComfyUI на ПК

Установка эпохальной нейросети FLUX в ComfyUI на ПК

Приветствую, дорогие читатели! В этой статье я поведаю вам, как возбудить в себе детский интерес и зависнуть на долгие часы в высоких технологиях.

Я занимаюсь нейронками уже около 3-х лет, и меня никогда так не вштыривало от качества генерации и уровня креатива... Прибавьте сюда возможность создания текста, и вы получите лучшее тесто в этой галактике, которое мы сейчас испечем.

Гайд предполагает наличия у вас ComfyUI на ПК!

🔥 Есть видео-версия, кому не хочется читать!

🔥 Также я выпустил гайд для слабых видеокарт, где установка намного проще — в Forge!

Рекомендации по железу:

- VRAM (видеопамять): 8-12GB+ (16-24gb предпочтительно)

- RAM (оператива): 32GB+ (64gb будет идеально)

✅ ШАГ 1 — Обновляем ComfyUI

Обновить можно либо через ComfyUI Mandger (скриншот 1), либо через файл обновления (скриншот 2).

Скриншот 1 — обновление через ComfyUI Manager
Скриншот 1 — обновление через ComfyUI Manager

Для обновления через файловую систему нужно зайти в корневую папку ComfyUI, после чего перейти в папку update, где необходимо последовательно запустить 2 файла.

Скриншот 2 — обновление через файловую систему
Скриншот 2 — обновление через файловую систему

✅ ШАГ 2 — скачиваем энкодеры

Скачиваете либо t5xxl_fp8_e4m3fn.safetensors, либо t5xxl_fp16.safetensors, а также clip_l.safetensors с сайта Hugging Face.

Энкодеры и модель clip
Энкодеры и модель clip

Если у вас 12GB видеопамяти, версия энкодера fp16 у вас может не завестись — в таком случае качаете fp8 версию. Отличаются они качеством итоговой генерации: у fp16 лучше задний фон и больше деталей на генерации.

🚩UPDATE: fp16 нормально работает только на 3090 и 4090, для остальных рекомендуется fp8, чтобы не мучиться по несколько часов.

Закидываете их в папку ComfyUI/models/clip:

Папка для clip моделей
Папка для clip моделей

Я скачал версию fp16, так как у меня RTX4090 — полет нормальный.

✅ ШАГ 3 — скачиваем модель VAE

Скачиваете модель VAE под названием ae.safetensors с репозитория разработчика HuggingFace.

Скачиваете модель VAE
Скачиваете модель VAE

Если загрузка не начинается, нужно принять соглашение на странице модели. Переходите по ссылке, логинитесь в сервисе и нажимаете на кнопку с соглашением.

Соглашаемся с правилами использования для скачивания моделей
Соглашаемся с правилами использования для скачивания моделей

VAE кладем в папку — ComfyUI/models/vae.

Папка с vae
Папка с vae

✅ ШАГ 4, скачиваем основную труженицу — UNet модель

Если у вас 12GB видеопамяти, то качаете flux1-schnell.safetensors с сайта модели на Hugging Face.

Модель schnell для видеокарт с памятью 12GB
Модель schnell для видеокарт с памятью 12GB

Если видеопамяти поболее, то можете запустить flux1-dev.safetensors, скачав модель с Hugging Face.

Модель dev для видеокарт с памятью больше 12GB
Модель dev для видеокарт с памятью больше 12GB

Модели нужно класть в папку по пути: ComfyUI/models/unet:

Папка для unet моделей
Папка для unet моделей

Я скачал модель типа dev, так как у меня больше 12GB видеопамяти.

✅ ШАГ 5 — Загружаем пайплайн для генерации

🔥Запускаем ComfyUI.

Если вы установили модель dev, то переходите по этой ссылке и просто закидываете лисичку с ушками в рабочее пространство ComfyUI.

Эту милую горничную нужно перетащить во вкладку с комфи
Эту милую горничную нужно перетащить во вкладку с комфи

После копирования картинки в ComfyUI, у вас будет следующая картина:

Вид комфи после копирования картинки с лисичкой
Вид комфи после копирования картинки с лисичкой

Все ноды автоматически подгрузятся, менять ничего не нужно. В принципе, вы уже можете нажимать Queue Prompt и тестировать модель!

Если вы скачали модель schnell, то заходите сюда и по аналогии перетаскиваете картинку с галактической бутылкой и планетой в бокале прямиком в комфи, после чего ноды также подгрузятся в рабочее пространство.

Разрешение генерации можно менять в этих нодах:

Ноды для выставления ширины и высоты
Ноды для выставления ширины и высоты

Примеры генераций нейросети FLUX

На сладкое я оставил для вас примеры, которые вскружили мою голову. Генерил я с утра до ночи, такой вот я фанат нейронок и ИИ. С 15 лет мечтал об этом, и вот случилось...

Повторюсь: ни одна нейронка такого качества сейчас не даст. А в купе с качественным апскейлом это вообще что-то из мира терминатора.

Заглядывайте ко мне на канал в телеге, там будет много контента с нейросетью FLUX, а также материалов для дизайнеров и уроков по работе со Stable Diffusion.

3737
33
42 комментария

Спасибо за workflow в частности и за статью вцелом.
Поправочка. FLUX-dev отлично работает на карточках с 12GB
У меня 3080 12Gb - всё чики пики

4
Ответить

2070 super 8Gb работает, не летает, но работает

1
Ответить

Просмотрел бегло, если не увидел, извиняюсь - есть уже на том же civitai.com объединенные модели в привычном формате Safetensors, которые можно юзать как обычные sd15, sdxl или pony. Например flux1s-16gb.

3
Ответить

Да, думаю сейчас, стоит ли добавлять в статью

Ответить

у меня RTX4090Сколько по времени генерится 1 картинка?

1
Ответить

Около 20 секунд обычно)

Ответить

У меня тоже 4090, попробую сделать все по гайду, что-нибудь погенерить

1
Ответить