Хм... хороший вопрос. Могу сказать точно что при использовании LORA, порой нужно наоборот ПОНИЖАТЬ вес. Бывает что и 1 много, снижаешь до 0.3 порой из-за переобученности. А вот к обычным токенам я сталкивался лишь с искажениями если вес выше 1.5. По этому со 100% уверенностью не могу сказать зависит ли вес от модели. Нужно будет тестировать)
Зависит ли вес от модели?
Хм... хороший вопрос. Могу сказать точно что при использовании LORA, порой нужно наоборот ПОНИЖАТЬ вес. Бывает что и 1 много, снижаешь до 0.3 порой из-за переобученности. А вот к обычным токенам я сталкивался лишь с искажениями если вес выше 1.5. По этому со 100% уверенностью не могу сказать зависит ли вес от модели. Нужно будет тестировать)