Любые модели на 6gb видеопамяти...
Что в посте говорится
В посте на Reddit говорится, что теперь можно запускать «WAN или любые тяжёлые модели даже на GPU с 6 ГБ VRAM», благодаря новой функции GDS (Generalized Disk Store или что-то в этом роде) — флаг “GDS enabled flag”. Reddit Один из комментаторов говорит, что:
То есть, они, вероятно, добавляют фичу, которая позволяет выгружать части модели на диск и подгружать по мере необходимости, что уменьшает нагрузку на VRAM.
Что тебе нужно сделать, чтобы “это заработало”
Вот предполагаемые шаги:
- Использовать Linux Если ты пытаешься на Windows — возможно, пока что не будет работать. В комментариях прямо сказано, что “Linux only atm”. Reddit+1
- Обновить или получить версию ComfyUI / фреймворка, где эта фича внедрена Эта “GDS функция” — новая фича, которая, по словам автора, ещё не вмержена в основную ветку (review is going on) Reddit Значит, тебе нужно: Получить свежую ветку или форк с этой фичей (pull request / patch), Установить её (сборка, установка зависимостей и т.д.).
- Активировать флаг GDS Когда версия с поддержкой GDS будет доступна, нужно будет включить этот флаг — “GDS enabled” — в настройках или конфигурации запуска модели. Reddit
- Хранить модель на SSD / быстрое хранилище В комментариях упоминается, что это особенно выгодно, если SSD быстрый, потому что модель будет читать / записывать данные с диска. Reddit То есть диск должен быть достаточно быстрым (NVMe SSD, например), иначе узкое место станет диск.
- Проверить системную RAM Хотя цель — уменьшение использования видеопамяти, всё же части модели могут временно находиться в оперативной памяти. Чем больше RAM, тем лучше. В комментарии говорят, что у одного пользователя 128 ГБ RAM, и это помогает, потому что части модели могут “свопаться” туда и обратно. Reddit
- Тестировать и отлаживать Возможно, часть функций пока что “сырые” — могут быть баги, недокументированные нюансы. Надо запускать, смотреть логи, проверять ошибки.
3 комментария