Евгений Смирнов
я надеюсь ты не запускал на двух гпу его?
у тебя инференс сильно просядет если шина говно
на одной RTX 5070 Ti 16 ГБ у меня Qwen3.8-Flash-Next UD-IQ4_XS, не 1-bit: Strata + MTP, 128 ГБ оперативки, около 46 GiB RAM под экспертов. На промптах 70–120K в логах было примерно 50–60 ток/с decode, контекст настроен на 200–256K.
на 5070 ти можно спокойно qwen 3.8 flash запускать на 125b параметров и даже с нормальной скоростью что по качеству по тестам сравнимо с дикпик флеш 4.0
я ей проекты под NDA отдаю на откуп, решает баги хорошо
я в августе почуял уже чем пахнет и вторым гпу 5070 ти себе палитовскую взял, успел не так дорого
подключил ее по Pci 5 x4 через удлиннитель но максимум что можно в условиях анальных наводок от полей это такая длина, пришлось прописать ее прямо на сабе
не поднимут, там нечего поднимать оптимизацией
на каждый такт работы был такт простоя
этот простой убрали, больше там делать нечего
Ага, только прирост касается только генераторов фото\видео\аудио
на генерацию токенов т.е. основное вообще зачем локальные LLM ставят вообще ноль импакта (чуть прирост на префиле процентов 15-30)
До сих пор в 30 фпс играю на пк в некоторых играх и не считаю что это норм
я ж говорил 5090 это карта для нативных 2к или фулхд с лучами
Около Года назад, с модом от люк росса, там даже управление ток с геймада было без рук что кал
Все хотел залететь но увы 5090 не тянет даже средние настройки с норм фпс
128 тут не критикал, я вот GLM 5.3 На 5090 запускал, в 30 ткс и 90% рамы занято было вот там пизда
а тут эта модель жрала у меня всего лишь 48 гб рамы, от твоих 64 еще останется на систему достаточно
плюс ты можешь попросить агента так чтобы он настроил оффлоад на второй гпу чисто как вместилищещ чтобы с ссд не грузить экспертов