NoobelLLM

Всем привет! Сегодня наша команда HAL-X AI зарелизила THX-01, полностью open-source decision model, обученную на 20 языках.

Последние два поста я писал про SIMURG, и тема, если честно, довольно интересная.

Неделю назад мой агент с уверенным лицом описывал трактат, которого не существует. С датой. С подписантами. С пафосом. Ноль записей в вебе.

Гоняю квантованные модели локально, и они постоянно ломаются на середине ответа. То зацикливаются и повторяют одну фразу до конца лимита, то сползают с английского в китайский или кириллицу, то сыплют мусором. 2-битные кванты особенно этим грешат. Самое противное, что к моменту, когда ты это видишь, плохие токены уже на экране.