Формат сообщений Я заметил, что нормальная работа *мыслей* [ooc инструкций] есть не во всех моделях. Походу сильно влияет на чем обучали. Вот допустим пигмалион и все, что на его базе модели, там прям хорошо работает, ну и неудивительно ведь обучали на ролеплеях.

список количества токенов, которые модели смогут адекватно обработатьУчитывая, что токены кушают память сверх модели иногда полезно их урезать. Условные 13b модели в 4bit квантовании кушают почти впритык 12гб врам. А стоит им вывалиться за этот предел, как скорость генерации падает ощутимо.

Настройка ответа ИИ Имхо рекомендую всем не крутить эти параметры, а сперва поиграться с пресетами. Типа мой любимый пресет это storywriter. Разрабы даже сравнивали кучу разных пресетов с помощью голосований. И в топе по ролеплею в чатах у них например Midnight Enigma, Yara, Shortwave, Kobold-Godlike. Инфа отсюда -> https://github.com/oobabooga/oobabooga.github.io/blob/main/arena/results.md

К статье еще добавил бы ссылку на редактор персонажей https://avakson.github.io/character-editor/
Можно и чужих открыть посмотреть в нем, можно и своего сотворить. Мелочь, но удобнее блокнота.