LORA, почему кажется, что не работает, и как не потратить день в пустую
LORA это мой первый опыт с Dreambooth-подобной тренировкой модели лично. Что бы она заработала так, как нужно, требуется достичь некоего барьера, который бы перезаписал знание токена, что требует от 6 до 13+ тысяч шагов, судя по треду, а так же судя по личным наблюдениям. Моя тренировка для стиля начала давать хоть какие-то результаты в нужном ключ…
Подскажите пожалуйста, это перетренировка ? Слишком много шагов ? Или наоборот недостаточно ? Это не Лора. Старый Google Colab, последние три дня коверкает все, что ему не скормишь. До этого все было нормально.
Хз. Если это 2.х модель, то по ней не скажу ничего, не пользуюсь. Дримбутом так же не играюсь. На оверфит не похоже, пробуйте больше шагов. Но это я сужу по опыту с гиперсетками.