Так же я пытался сделать тренировку сразу трёх стилей, но она закончилась абсолютным позором, видимо, нужно куда больше шагов, хоть я и сделал 15х4, то есть 15 тысяч шагов на градиенте 4, но, кажется, его лучше не включать(точнее включить, но оставить на 1, иначе много жрёт без него). Так же я пока не совсем понимаю, что нужно указать, а что не нужно, в концепте, что бы получить стиль, привязанный к конкретному токену. На данный момент стиль будет расползаться в принципе по всей модели, но в данном случае это нам не мешает. Сам токен будет усиливать стиль. То как это, возможно, можно побороть - в гайде.
и, если у вас 8 гигов - bf16 + default, если 6 - fp16 + xformers, либо flash attention, если не запустится с ними.Только ты вот не учитываешь что не на всех картах есть нормальная поддержка fp16/bf16. У тебя 3070Ti, там она есть и на тюринге она тоже есть. А вот на паскале нету.
Видеокарты поколения Паскаль не особо стоит рассматривать в локальной тренировке энивей. Будет быстрее найти колаб с нужным интерфейсом. Быстрее будет. Там вон человеку выше 10 часов на 1660ти нужно на 7500 шагов, что уж говорить про всё, что ниже 1080/ти.
Статья для новичков.
Спасибо, что так хорошо все разъяснил.
Мне все было очень понятно, но паэлья не получилась
А датасет паэльи протеган хорошо?
пум-пум-пум, но памяти реально жрёт мало 1660ti vram=3.6/4.2GB
Ух, боль.
Но, всё ещё куда лучше дримбута на процессоре, где на каждую тыщу шагов надо 10 часов