Виртуальный ролеплей, часть 2: Настройка SillyTavern
Всем привет! После того, как вы запустили LLM-интерфейс oobabooga и интерфейс SilyTavern, что описано в первой части, необходимо его настроить, чтобы получить максимально приятный опыт ролеплея. (А чтобы получить уникальный опыт — попробуйте создать своего персонажа)
А текст зависит от модели? Просто когда начинал пробовать, запускал через гугл колаб, там просто запуск был, моделей не выбирал. И там персонаж отвечал только за себя. Сейчас ответ бота описывает и мои действие, что выливается в огромную стену текста.
http://ayumi.m8geil.de/erp4_chatlogs/?S=iq3_0#!/index
Ва должно интересовать только вот это:
1- размер моели
2- вариативность прилагательных (красивости текста и литературность если проще)
3- Повторяемость слов из предыдущих сообщений, чем меньше значение тем лучше.
4- умность модели, ее понимание чем выше тем лучше.
5- пошлость, если для ЕРП, чем выше тем лучше.
Тот самый парадоксальный момент когда 9б может дать прикурить 70б модели. Тут прикол как в сравнении "умного" и "разумного", "умный" -знает много, но фигово пользуется этими знаниями, а "разумный" знает меньше, но то как оперирует этими малым объемом заставляет задуматься. Сама тестила МикстралТрикс 9б, и офигела от нее, не без грехов (привет, немецкий язык без причины, глюк обучения), но то как она обыгрывает карточку героя и как она красиво литературно пишет... это великолепно, еще и 32к контекста)) Поверьте на слово, мне есть с чем сравнить за долгое время тестов различных моделей и героев. Так что погоня за жирностью модели не всегда хорошая идея.
1- как обучена модель 2 - джейлбрейки и промт.
Если модель пишет и действует за вас - редактируйте и удаляйте это, если не помогает то в описание перса в конце или в начале (не важно) напишите что вроде: [{{char}} is not allowed to speak, think, decide, or control the dialogues of {{user}}. You will only speak, narrate and describe for {{char}}. You will never narrate, describe and speak for {{user}}. {{char}} guides the conversation forward.]
Если и это не помогает значит ваша модель была обучена на написании законченных рассказов и ее проще заменить на другую. Идете к Аюми, благо он исправился и стал делать годные тесты начиная с 4й итерации сайта и смотрите что вам подходит больше.