xAI опубликовала исходный код чат-бота Grok

Модель содержит 314 млрд параметров.

xAI опубликовала исходный код чат-бота Grok
6363

На реддите вроде прикинули, чтобы квантованную Q4 версию запустить (когда её сделают) полностью в видеопамяти нужно 4х3090/4090 впритык, немного сомнительно тк для Goliaph 120B нужно 2, чтобы нормально запустить. В любом случае прикольно, Q4 это хорошая версия, может для такой объемной модели и более жесткое сжатие пойдет, думаю что-нибудь придумают, хотя для нище энтузиастов с одной 3090 хотелось бы 13-20B моделек побольше, а то 7B мисталевская огонь, а дальше 34B только прям хорошие, но они довольно медленно работают.

1

ох уж эти нище энтузиасты на одной 3090, на 3060 получается нано-энтузиасты

2