Я закончил свою новую модель для РП!

Она стала лучше, она перестала ломать форматирование, и она была экспериментом, который пройден успешно!

Подавляющее большинство сообщества на Hugging Face либо дообучают модели на всех слоях, либо смешивают уже обученные модели в каких-либо пропорциях между собой, пытаясь найти тот самый магический коктейль, который сделает их модель и интересной, и живой, и умной, и так далее и так далее

Что, если взять оригинальную чистую модель прямиком от Google (почти, об этом ниже), и подмешать в нее нужные мне данные на минимальное количество слоев, чтобы не сломать модель и оставить как можно больше оригинальных данных? А получилось интересновое

Я взял расцензуренную версию модели (это менее 0.5% изменений от оригинальной модели), и изменил ее данных на 7%, выполнив слияние и обучение только на проекциях внимания

Это нормальная цифра для обучений на LoRA, но таким методом мало кто занимается на Gemma 4 (пока что)

Взял расцензуренную Gemma 4 26B, как писал выше, пересадил ей «голос» от одной модели (lm_head от StyleTune v2) и «внимание» от другой (V/O_proj от Pantheon-Reasoning-31B-1.1), а сверху (на Q/K_proj) обучил небольшой адаптер на ролевых диалогах.

И все! В итоге модель стала более инициативной, стала лучше думать, да и ваще, крута!

И что важно: мне удалось не сломать форматирование, как было с Kanimus, но удалось сделать РП таким же как и в Fine-Tune моделях, без кучи изменений.

LoRA оказалась уж очень сильной, и бывает, проскакивают довольно темные диалоги, и я бы сделал ее чуть менее значимой, уменьшив вес, но мне уже лень. Это довольно легко делается, и думаю, сделаю это как v2 чуть позже

GGUF (для инференса через LM Studio или KoboldCPP):

Ориг: