llmontoryxd
Я тебе пытаюсь донести, что твоя маленькая китайская опенсорсная моделька, во-первых, ни в какое сравнение не идет с проприетарными моделями, как бы это не пытались доказывать работяги в своих папирах на своих бенчах, а, во-вторых, она претрейнилась на огромных кластерах, которые последнее время все больше и больше, потому что сейчас лучшая модель - это тупо большая модель.
+ у тебя такой бум в новых моделях случился из-за, в том числе, появления хардверного фп8, а с фп4 уже возникают большие сложности.
Короче, я к тому, что возможность инференса жестко квантованной модельки, и даже ее файнтюн с помощью той же лоры - это вообще не показатель того, что все схлопнется. Мы либо чето новое найдем, кроме трансформеров, либо все дальше будем пинать эту архитектуру, выжимая из нее все соки большими кластерами со всякими оптимизациями и тратя на это огромную кучу денег (и видеокарто-часов), как делали интел с 14нм
Чел, зайди просто на любой ллм калькулятор и посмотри, сколько памяти нужно даже для инференса маленького квена с каким-то мозольным контекстом, и пойми, что реально получится запустить на твоей тачке. Причем здесь вообще лора и как ты ее "обучил" ты даже не пояснишь, поэтому иди почитай матчасть, послушай умных людей, а не язви
Опустим тот факт, что обучение таких моделей идёт далеко не на калькуляторах
Аналогичная проблема, электризуется стул от всего - даже от волос или прошедшей собаки
У тебя буквально такая же система в стиме. Система "рекомендую/не рекомендую" выливается в среднюю оценку от 0 до 100. Если ты введешь систему с N-бальной шкалой, то принципиально в среднем ничего не изменится. Или ты на кинопоиске каждую рецензию читаешь?
участвую
Участвую
В не освобождает от мобилизации
Del
Реально хорошая комиссия.
#BQV4JUMC