Я потестил модели для ИИ-ролеплея, чтобы вам не пришлось
Кажется, что нейронки могут потянуть только гигафабрики в зданиях OpenAI или гигапечки с 128 ОЗУ и Threadripper PRO, и они умеют только эксплуатировать твои фетиши, которые стыдно гуглить? Как бы не так. В этом посте собраны модели, которые подойдут как для сюжетной игры, так и для запретной любви.
Mythalion и Mythomax прям лучшие в плане универсальности имхо. Самая золотая середина для всех ролеплеев
По размерам считаю надо минималку 13b, ибо даже 7b модели часто путают кто есть кто. Если речь именно за ролеплей. При просто системе вопрос-ответ не так заметно. И при этом я например не готов запускать 20+b модели теряя в скорости ответов ценой вроде повышенной умности. Тут сугубо короче вопрос железа уже.
Ну исключение mistral новый, он пока 7b и впринципе путает кто есть кто не так сильно.
Запретная любовьВпринципе тут можно просто оставлять ссылку на основного парня который делает подобные модели - https://huggingface.co/Undi95
Хотя я заметил, что даже всякие не особо предназначенные модели, тоже могут соображать на тему фетишей.
И наоборот есть полностью якобы полностью хорни модели вроде Unholy которые на предложение описать хардкор с зоо например упрямо повторяет, что это перебор.
Самое большое количество поддерживаемого контекстаПо факту все модели у которых mistral в качестве основы, правда лично у меня при попытке прожрать именно все 32к контекста скорость генерации ощутимо падала.
Ундик уже не один https://huggingface.co/athirdpath
База, просто based