Чтобы вы сразу поняли, чего стоит и не стоит ждать от ИИ-ролеплея. Вы не получите длинную историю (upd: без углубления в тему), 8-месячный отыгрыш внутри гильдии с кучей игроков и глубоким лором, как в варкрафте в былые времена ждать не стоит, к сожалению. ИИ-персонаж "живет" максимум где-то 200-250 сообщений в чате. Это примерно 2-4 часа, в зависимости от длины сообщений.
В среднем у меня получались истории на час-полтора, потому что я конченый виабу, который просто хочет покутить со своими вайфу. Если персонаж очень хорошо прописан, а модель очень мощная, то можно растянуть ролеплей хоть до бесконечности, но это очень вряд ли получится, и так или иначе старые детали он будет постепенно забывать.
Забыл написать про самую важную фигню - ПРИГЛАШЕНИЕ, обычно его так называют, это формат подсказки длz LLM. Если выбрать тот на котором модель не умеет работать, опыт РП при таких условиях будет, мягко говоря, монолог из дур-дома!
Как понять на какой формат приглашения обучена модель, логично, прочесть документацию! Многие авторы пишут на прямую о том какой формат, но иногда это не понятно. Решение: смотрим на то какая в базе файнтьюна находится модель в файле config.json в данных на обучение модели. Если Мистраль - логично что запрос Мистраль, если Ллама 3- то запрос для Лламы и тд.
@Карасик
Мне очень нужна помощь в этих вопросах:
- Подборка 5 моделей под разные задачи: общение и дружба, философия, секс.
- Тонкая настройка KoboldCPP для работы с этими моделями.
- Тонкая, общая настройка SillyTavern.
- Создание своих личностей.
- Создание своих персонажей для общения с ними своими личностями.
Мой ПК:
Ryzen 7 5800X3D
Asus Rog Strix RTX 3080, 12Gb
32Gb DDR4-3600
Готов поддерживать тебя донатом дорогой друг.
Вкратции гайд: тобы попиздеть с нейровайфу полтора часа надо комплюктер наса, облако Амазон и шаман с бубном
Этот коммент надо закрепить
Да не. На самом деле любая маленькая модель, включая упомянутые в статье, которые влезут в 6-8Гб видеопамяти, будут на голову выше того, за что люди пару-тройку лет назад подписку платили в AI Dungeon. То есть, минимумом будет какая-нибудь 2060. 3060 с её 12Гб памяти вообще шикарный бюджетный вариант.
Шабан с бубном, впрочем, будет нужен.