Наверно у тебя файл подкачки отключен. Он твою модель не может разместить в ГПУ и делит пополам, и половину в файл подкачки кладет -> нет файла подкачки= нет работы
на видюхе выставляй минус 1 Гб от объема. Бомбический Q4_0. gguf. Q8 наверно многовато.
Ну что сказать .. Веселуха.
Наверно у тебя файл подкачки отключен. Он твою модель не может разместить в ГПУ и делит пополам, и половину в файл подкачки кладет -> нет файла подкачки= нет работы