А пока модель качается, небольшое разъяснение: 13B — это количество параметров модели, чем их больше, тем она более продвинутая и «умная», но и тем больше ресурсов она требует. В нашем случае используется 13B модель, которой хватит 16гб ОЗУ за глаза. q4_0 (4 bit) означает степень квантования, говоря проще, это оптимизация модели, чем меньше — чем лучше.
Но там уже вторая Лама есть
Ой, я не так написал, это WizardLM 1.2 а не LLaMA 1.2. Он вроде на LLaMA 2
Без видеокарты можно даже не пытаться запускать, отвечает раз в час.
Привет. Как ее можно обучить?
Процесс сложный. Нужны знания Питона.
Привет из 2024! Прикольный недооценённый пост)
Cкачал, запустил, отвечает сразу по слогам.
(CPU i5 10600, запуск без видяхи.)