NVIDIA представила функцию System Memory Fallback для Stable Diffusion

В драйвере 546.01 появилась новая функция "System Memory Fallback"

Переведено с помощью DeepL

В недавнем выпуске драйверов NVIDIA представила новую опцию в Панели Управления Nvidia, предназначенную для потребительских видеокарт GeForce.

Эта опция называется "CUDA - Sysmem Fallback Policy" и предназначена для решения задач, требующих большого объема памяти, таких как новые программы генеративного ИИ.

NVIDIA представила функцию System Memory Fallback для Stable Diffusion

Эта функция предназначена в первую очередь для Stable Diffusion - программы, которая может потребовать одновременного использования до 6 Гбайт памяти.

Однако поскольку в популярных GPU максимальный объем памяти по-прежнему составляет от 6 до 8 ГБ, память GPU может быть разделена с другими рабочими нагрузками, что препятствует ее полному использованию такими программами, как Stable Diffusion.

Для решения этой проблемы NVIDIA реализовала новую функцию, которая позволяет приложениям не исчерпывать память GPU за счет эффективного переключения на общую системную память.

С технической точки зрения пользователи могут использовать эту функцию для любых приложений, включая игры.

Однако это может оказаться не самым лучшим выбором, поскольку системная память зачастую заметно медленнее памяти GPU, не говоря уже о необходимой передаче данных между ними.

Основная цель этой функции - предотвратить возможные сбои на видеокартах с объемом памяти 6 ГБ.

В последних версиях драйверов NVIDIA предусмотрительно включила опцию отключения этого резервного механизма.

Это может повысить стабильность производительности, но при этом вновь возникает риск истощения памяти GPU.

Как включить или отключить System Memory Fallback

  • Открыть Панель Управления NVIDIA / В Пуске - Nvidia Control Panel
  • Управление Параметрами 3D
  • Либо задать Глобальный Профиль / Либо перейти в Программные Настройки и выбрать нужную программу, например Stable Diffusion
  • Выбрать из двух других параметров CUDA – Sysmem Fallback Policy
  • Нажать Применить
  • Если программа, например Stable Diffusion, уже запущена, то перезапустить
NVIDIA представила функцию System Memory Fallback для Stable Diffusion
1010
7 комментариев

Так что лучше выбрать? или по дефолту оставить?

3
Ответить

Эм, оно же и раньше успешно пиздило из ОЗУ себе свопа ни у кого не спрашивая. Что поменялось?

2
Ответить

Нативно на Линуксах она так не делала. Pytorch сразу выкидывал out of memory при превышении доступного объема VRAM.

1
Ответить

Теперь это не баг,а фича. Так-то

Ответить

Превращение внешней видюхи в дискретную с медленной памятью. А могил бы уже просто как на консолях сделать всю память быстрой

Ответить

Не вопрос дай деняк на размер промышленной партии и будет тебе счастье.

Ответить