прерывать генерацию, не завершив ответОбычно подобное случалось когда юзаешь не самую ластовую llama.cpp
если вам тоже кажется неподъемной версия 405B для запуска на своем железе, стоит обратить внимание на модель Mistral Large 2Вот тут смешно конечно, что то титан неподъемный, что это. Тут мне кажется для домашних энтузиастов сугубо только л3.1 на 8б и мистрал немо на 12б
прерывать генерацию, не завершив ответОбычно подобное случалось когда юзаешь не самую ластовую llama.cpp
если вам тоже кажется неподъемной версия 405B для запуска на своем железе, стоит обратить внимание на модель Mistral Large 2Вот тут смешно конечно, что то титан неподъемный, что это.
Тут мне кажется для домашних энтузиастов сугубо только л3.1 на 8б и мистрал немо на 12б
За файнтюнинг под русский респект