Блог Карасика. Гайды по НейроРП и всякое другое
РП - это цикл статей. Обязательные к прочтению отмечены *
- [*] РП с нейросетью. Общайся со своей вайфу о чем угодно - KoboldCPP + SilliTavern. Самое свежее
- [*] Как написать своего персонажа для SillyTavern
- [*] Подбор свежих моделей для ролеплея
- Максимизация производительности моделей (англ.)
- Виртуальный ролеплей. Гайд по установке и первый запуск. oobabooga + SillyTavern
- Виртуальный ролеплей, часть 2: Настройка SillyTavern - старый пост, но SillyTavern разжевана чуть больше, мб найдёте что-то новое
Разное
Планы
- Подробно написать про расширения SillyTavern (VV, помоги)
- Статистика DTF за 2024 год
Если по любому из гайдов будут вопросы - пишите в лс или комменты, стараюсь быстро отвечать
Я с тобой не согласен
С чем
Сам изучаю тему локальных языковых моделей, знаю что те кто в теме и имеют доступ к клоду (часто через прокси, на которых пизженные ключи) нереально кайфуют, в том числе от нсфв рп. Мне самому рп не интересен, но вот тестирование различных локалок и наблюдение за прогрессом доставляет. Я в теме еще со второй лламы и помню ответы в стиле "я тебя ебу" (в случае с нсфв рп), а сейчас довольно небольшие локалки чуть ли не достигли уровня жпт 3.5 и могут писать полотна красивого текста в тех же рп, что безусловно радует.
Если шаришь за техничку, тебе полезно будет пообщаться с @VV, он тоже увлекается
Думаю у вас плодотворный диалог сложится
На Лайфбенче 7б Квен 2,5 насилует Клода, Мистраль, ГПТ... Не всегда важен РАЗМЕР, важно умение его использовать, как бы смешно и банально это не звучало. Большинство современных жирных моделей это просто солянка, куда напихано все что только есть и повторяется по 100 раз. Пример: кто юзает Мистраль и Ллама 3,1(даже Гермес 405b) у них в основе один и тот же датасет с ошибкой, эти две модели безумно любят "убирает выбившуюся прядь волос за ухо" и "жгучий поцелуй" эти 2 фразы просто болячка в РП.
Кстати, еще забавный факт, цитата: "Китайская компания обучила конкурента GPT-4 всего с 2000 графических процессоров — 01.ai потратила 3 млн долларов по сравнению с 80–100 млн долларов у OpenAI". К чем я это пишу, все просто, сейчас сфера АИ это отмывание денег, и бывшие лидеры скатываются в говно, они не могут предложить ничего нового, а денег хотят как и раньше - вагон и маленькая тележка сверху.
Сейчас США усиленно пытаются ограничить Китай от технологий, поскольку наши любители риса и кошко-жен начали нагибать звездно-полосатых на их же поле. Ставлю на то что топовыми моделями ЛЛМ будут модели из поднебесной в ближайшие пару лет, Квен уже это доказал. Главная проблема современных моделей в том, что одни ЛЛМ учат на генерациях от других ЛЛМ. Следствием мы имеем этот ужасный и сухой текст и кучу оборотов именуемых ГПТизмами на подобии двойного отрицания с положительным значением "не неприятно" и тд. По этому для меня и многих кто РПшил на локальных моделях еще с мая-июня прошлого года кажется что современные модели -отвратительны. Да, они лучше понимают контекст, намного более изобретательны, НО их язык не живой, их реакции и эмоции - скупы, а про цензуру вообще молчу, это мрак и ужас.