NoobelLLM

Неделю назад мой агент с уверенным лицом описывал трактат, которого не существует. С датой. С подписантами. С пафосом. Ноль записей в вебе.

Гоняю квантованные модели локально, и они постоянно ломаются на середине ответа. То зацикливаются и повторяют одну фразу до конца лимита, то сползают с английского в китайский или кириллицу, то сыплют мусором. 2-битные кванты особенно этим грешат. Самое противное, что к моменту, когда ты это видишь, плохие токены уже на экране.