NVIDIA представила функцию System Memory Fallback для Stable Diffusion
Эта опция называется "CUDA - Sysmem Fallback Policy" и предназначена для решения задач, требующих большого объема памяти, таких как новые программы генеративного ИИ.
Эта функция предназначена в первую очередь для Stable Diffusion - программы, которая может потребовать одновременного использования до 6 Гбайт памяти.
Однако поскольку в популярных GPU максимальный объем памяти по-прежнему составляет от 6 до 8 ГБ, память GPU может быть разделена с другими рабочими нагрузками, что препятствует ее полному использованию такими программами, как Stable Diffusion.
Для решения этой проблемы NVIDIA реализовала новую функцию, которая позволяет приложениям не исчерпывать память GPU за счет эффективного переключения на общую системную память.
С технической точки зрения пользователи могут использовать эту функцию для любых приложений, включая игры.
Однако это может оказаться не самым лучшим выбором, поскольку системная память зачастую заметно медленнее памяти GPU, не говоря уже о необходимой передаче данных между ними.
Основная цель этой функции - предотвратить возможные сбои на видеокартах с объемом памяти 6 ГБ.
В последних версиях драйверов NVIDIA предусмотрительно включила опцию отключения этого резервного механизма.
Это может повысить стабильность производительности, но при этом вновь возникает риск истощения памяти GPU.
Как включить или отключить System Memory Fallback
- Открыть Панель Управления NVIDIA / В Пуске - Nvidia Control Panel
- Управление Параметрами 3D
- Либо задать Глобальный Профиль / Либо перейти в Программные Настройки и выбрать нужную программу, например Stable Diffusion
- Выбрать из двух других параметров CUDA – Sysmem Fallback Policy
- Нажать Применить
- Если программа, например Stable Diffusion, уже запущена, то перезапустить
Так что лучше выбрать? или по дефолту оставить?
Эм, оно же и раньше успешно пиздило из ОЗУ себе свопа ни у кого не спрашивая. Что поменялось?
Нативно на Линуксах она так не делала. Pytorch сразу выкидывал out of memory при превышении доступного объема VRAM.
Теперь это не баг,а фича. Так-то
Превращение внешней видюхи в дискретную с медленной памятью. А могил бы уже просто как на консолях сделать всю память быстрой
Не вопрос дай деняк на размер промышленной партии и будет тебе счастье.