Компактная FLUX 3 Image Klein в ComfyUI

Приветствую всех! Несколько дней назад Black Forest Labs выложила веса своей новой модели FLUX 3 Image Klein. И этот релиз особенно интересен тем, у кого 8ГБ VRAM т.к у модели 5.6B параметров и она вполне хорошо будет работать на таких видеокартах. А ещё эта модель как и Qwen Image 2.1, о которой был мой прошлый пост, нативно поддерживает edit и до 10 референсных изображений.

В этом посте я расскажу откуда скачать и как запустить FLUX 3 Image Klein в Comfy UI, а так же покажу некоторые генерации и сравню её с Qwen Image 2.1.

А так же предлагаю ознакомиться с моим предыдущим постом про Qwen Image 2.1:

Главная цифра, которую нужно запомнить: 5.6B параметров. Для сравнения: Qwen Image 2.1 имеет 7B.

Модель в bf16 версии весит 11гб, а в более доступной int8 всего 5.6гб. И эта int8 версия запускается комфортно на видеокартах с 8гб VRAM. У модели присутствует цензура.

В качестве текстового энкодера используется модель qwen3vl на 4B (промпты можно писать на русском) которая лежит в официальном репозитории в версиях bf16 и int8.

Это дистиллированная модель, которая сохранила архитектурные преимущества больших Flux-моделей.

Как и Qwen, FLUX 3 Image Klein позиционируется как единый инструмент и для генерации (T2I), и для редактирования (Image Editing). И как и Qwen поддерживает до 10 референсных изображений одновременно. Модель сама анализирует эти входные данные и, следуя текстовому промпту, комбинирует их в единое целое. При этом она отлично сохраняет фирменный реализм, правильную анатомию, естественное падение света и детализацию тканей.

Хорошая новость: поскольку это официальный релиз с day-0 поддержкой, процесс установки максимально простой.

Качаем всё необходимое отсюда:

Файлы уже рассортированы по нужным папкам, поэтому просто качаем нужные версии и кидаем в соответствующие папки ComfyUI.

Качаем distilled версию (быстрая генерация за 5-20 шагов), поэтому нам нужны веса с пометкой sd в названии (flux3_image_klein_sd_int8_convrot.safetensors или же версию bf16). Остальные файлы без пометки sd это base версии которые нужны для обучения лор и т.п.

Качайте INT8 версию. Black Forest Labs провели хорошую дистилляцию, и потеря качества при переходе с BF16 на 8-битные форматы здесь почти не заметна (особенно при генерации в 1024px). Зато модель комфортно влезает в 8–12 ГБ VRAM.

Вам не нужно собирать воркфлоу самому т.к они расположены в том же репозитории с моделью и вы их можете быстро себе перенести. Или же найти воркфлоу в самом ComfyUI т.к они уже там есть.

В отличии от предыдущей FLUX 2 Kleine редактировать изображения стало куда лучше и проще. Т.е вам не нужно играться с denoise и не обязательно использовать маски, а ещё она стала очень хорошо сохранять референс. В этом плане модель стала такой же удобной как Qwen Image 2.1. Однако иногда всё же случается, что она может начать смазывать некоторые детали исходника. Но для модели у которой всего 5.6B параметров это хорошие результаты.

Как и в прошлом посте с Qwen Image 2.1 я сделаю несколько сырых генераций и попрошу модель их отредактировать.

Исходник генерирую по промпту: A noble young beautiful female paladin, waist-up portrait, turned approximately 30 degrees to her left (viewer’s right), head slightly turned back to gaze directly at the viewer — calm, commanding, unwavering eyes. Wearing sleek, elegant dark fantasy armor: matte black steel with silver filigree engravings, pauldrons shaped like folded wings. Her hair is long, flowing silver or ashen-blonde, partially braided with thin metallic threads, gently swept by an ethereal wind. Background: misty ancient battlefield at twilight, distant floating ruins, deep indigo and charcoal tones. Ultra-detailed, cinematic fantasy art style, inspired by Artgerm and WLOP, 8K, sharp focus, dramatic volumetric lighting, perfect for avatar — regal, mysterious, powerful presence.

На RTX 4070 генерация в 20 шагов с разрешением 768 на 1024 заняла 5 секунд. Получаем такой результат:

Далее я попрошу поменять цвет волос на тёмный, поменять одежду, отдалить камеру, добавить корону на голову и сделать ей лёгкую улыбку. Получились такие результаты:

Можно заметить, что при просьбе поменять цвет волос... Модель вместе с этим сделала оттенок доспехов чуть темнее, но всё остальное модель вроде бы сохранила полностью. При просьбе показать её в полный рост генерация получались плохие т.к ниже торса происходили довольно странные и страшные вещи) Я сделал три попытки и выбрал лучший вариант из них.

Если сравнивать эти генерации с теми, что я делал на Qwen Image 2.1 (смотреть в прошлом посте), то я считаю, что Qwen справился лучше. Но опять же стоит помнить, что это более легковесная модель и она всё же больше заточена под фотореализм.

Здесь будем делать всё же более фотореалистичные генерации поскольку это главное достоинство этого семейства моделей. Генерации всё так же будут сырыми и в 20 шагов.

Здесь можно заметить, что при определенном отдалении скажем так... Глаза могут начать часто превращаться в подобное. Однако с анатомией всё очень даже хорошо, как и вообщем со всем остальным.

Однако всё же куда лучше у модели получаются портретные генерации:

Получилась хорошая текстура костюма, кожи и всё прекрасно с глазами. При том, что генерация сделана ещё с игрой света.

Что на счёт текста? Модель прекрасно справляется с английским, но так же неплохо работает с русским:

Если фразы короткие, то ничего не смазывается и всё хорошо, но если они становятся длинными то иногда текст может превратиться в кашу.

Очень даже хорошо для модели с 5.6B параметрами. Слово "различимым" превратилось в "раличимым" и "протестиреаать".

Вот ещё пара фоторелизма:

На втором изображении даже получилось относительно точное отражение на стекле. Ну и опять же хорошая текстура одежды.

Чтож.. Пост получился довольно коротким, но все основные моменты я думаю уместил.

Как итог: опять же, так как у модели 5.6B параметров, то результаты вполне хорошие + очень быстрая генерация. Если вам нужен быстрый, легкий edit, хорошее качество в фотореализме и у вас ~8ГБ VRAM, то FLUX 3 Image Klein будет вполне хорошим вариантом.

Если же вы предпочитаете арт стиль, то я думаю, что в таком случае вам нужно склоняться в сторону Qwen Image 2.1 т.к у неё я считаю более точный edit и она умеет генерировать изображения без фона или убирать его с исходника.

Для меня эта модель является более интересной по сравнению с предыдущей Flux 2 Kleine и у меня ещё есть некоторые идеи которые я хочу попробовать с этой моделью, но это позже.

И на этом я пожалуй закончу этот пост. Всех благодарю за внимание! А тех, у кого возникли вопросы, приглашаю в комментарии, я постараюсь на них ответить.