Подумал я. А потом прочитал, что для 5090 для графика они использовали сжатую fp4 модель Flux.dev, тогда как на 4090 использовалась fp8 вариант.
На фоне выхода RTX 5090 с пиковым потреблением до 900 Вт вспоминаются подобные разработки из прошлого десятилетия
Разбор новой, необычной системы охлаждения. С инженером Nvidia. Возможно, это уже было на сайте, но пост создать побудила соседняя тема про 5090, где у комментирующих было явное непонимание как такое вообще может быть возможно. Всё дело в том, что такого еще никогда не делали. Посмотрите видео, там интересно.
На презентации nvidia показали разницу в между 4000 и 5000 серией в генеративной нейросети flux. И совершенно беспардонно прямым текстом написали, что на 5000 серии использовалась модель (fp4 против fp8), которая в два раза меньше и, соответственно, быстрее.
Если 5070 со всеми включёнными DLSS4, фреймгенами и прочим сравнится с нативом 4090, то получается 4090 с апгрейдом DLSS и фреймгеном сравнится с 5090, но об этом по понятным причинам на презентации не сказали. Поэтому смысла с 4090 обновляться на что-то из 5x серии примерно ноль с учетом курса.
И хотя понятно что даже от 4090 будет смысл, мне интересно какая карта оптимальная для такого разрешения? На данный момент целюсь в 4070 Ti SUPER, но думаю не добавить ли на 4080 SUPER?
Я распаковываю RTX 5090, а затем подвергаю ее многочисленным позорным испытаниям и оценкам, сравнивая ее со старшим, еще более массивным братом RTX 4090. Отказ от ответственности: я получил этот продукт от Nvidia, мне за него не заплатили, и они не имели никакого отношения к тому, что показано в этом видео, кроме предоставления мне продукта и устан…
Ну если позанудствовать, то наёб хоть и имеется, но лишь частичный - на 40й серии операции с 4х битными матрицами не имплементированы в железе и поэтому прогоны в fp4 и fp8 не будут отличаться в два раза по скорости, плюс в случае если веса квантованы, то часть вычислений (особенно это касается механизма внимания) всё равно нужно делать в более высокой точности (float16 например) и будет тратится время на апкаст мастриц весов из fp4->fp16
Ты прав, только я лично боюсь представить какая там потеря в конечном качестве генерации на fp4 получится.