Виртуальный ролеплей, часть 2: Настройка SillyTavern
Всем привет! После того, как вы запустили LLM-интерфейс oobabooga и интерфейс SilyTavern, что описано в первой части, необходимо его настроить, чтобы получить максимально приятный опыт ролеплея. (А чтобы получить уникальный опыт — попробуйте создать своего персонажа)
Формат сообщений Я заметил, что нормальная работа *мыслей* [ooc инструкций] есть не во всех моделях. Походу сильно влияет на чем обучали. Вот допустим пигмалион и все, что на его базе модели, там прям хорошо работает, ну и неудивительно ведь обучали на ролеплеях.
список количества токенов, которые модели смогут адекватно обработатьУчитывая, что токены кушают память сверх модели иногда полезно их урезать. Условные 13b модели в 4bit квантовании кушают почти впритык 12гб врам. А стоит им вывалиться за этот предел, как скорость генерации падает ощутимо.
Настройка ответа ИИ Имхо рекомендую всем не крутить эти параметры, а сперва поиграться с пресетами. Типа мой любимый пресет это storywriter. Разрабы даже сравнивали кучу разных пресетов с помощью голосований. И в топе по ролеплею в чатах у них например Midnight Enigma, Yara, Shortwave, Kobold-Godlike. Инфа отсюда -> https://github.com/oobabooga/oobabooga.github.io/blob/main/arena/results.md
К статье еще добавил бы ссылку на редактор персонажей https://avakson.github.io/character-editor/
Можно и чужих открыть посмотреть в нем, можно и своего сотворить. Мелочь, но удобнее блокнота.
Спасибо за ссылки!
Да, эти значения +- бесмысленно крутить самому, раз есть предустановки, тем более Mirostat, который мне ну прям понравился.
Хотелось бы конечно знать все точно, чтобы выдать объективные данные в статье, а не набор наблюдений, но для этого нужны уже профильные знания по ML [Здесь могла быть ваша реклама]
Насчет мыслей и Джисона, который обычно используется для их оформления, иногда помогает небольшое изменение, например "Sysytem Note" перед правилом или же [правило] заключить в усиление скобками.
А где эти пресеты брать? Просто в силлитаверн половины тех о которых говорят, у меня вообще нет, а нагуглить где их взять, не смог.