На реддите вроде прикинули, чтобы квантованную Q4 версию запустить (когда её сделают) полностью в видеопамяти нужно 4х3090/4090 впритык, немного сомнительно тк для Goliaph 120B нужно 2, чтобы нормально запустить. В любом случае прикольно, Q4 это хорошая версия, может для такой объемной модели и более жесткое сжатие пойдет, думаю что-нибудь придумают, хотя для нище энтузиастов с одной 3090 хотелось бы 13-20B моделек побольше, а то 7B мисталевская огонь, а дальше 34B только прям хорошие, но они довольно медленно работают.
На реддите вроде прикинули, чтобы квантованную Q4 версию запустить (когда её сделают) полностью в видеопамяти нужно 4х3090/4090 впритык, немного сомнительно тк для Goliaph 120B нужно 2, чтобы нормально запустить. В любом случае прикольно, Q4 это хорошая версия, может для такой объемной модели и более жесткое сжатие пойдет, думаю что-нибудь придумают, хотя для нище энтузиастов с одной 3090 хотелось бы 13-20B моделек побольше, а то 7B мисталевская огонь, а дальше 34B только прям хорошие, но они довольно медленно работают.
ох уж эти нище энтузиасты на одной 3090, на 3060 получается нано-энтузиасты