Обесняю сетап

Обесняю сетап

Имеете примерно такую кофигарацию дома или мощнее

- x570 Taichi,
- amude 3900x,
- 64 GB DDR4 ram,

- 6900xt normalnaya videocarta, 4TB nvme SSD

запускаете Strata Engine локально Qwen3.8-Flash-Next 125B+ MoE IQ3_S (квантизированный, все равно лучше всего что можно потенциально запустить на этой помойке) выключая вообще все что можно в системе ЛУНИКС и получаете 50+ t/s decode и 510+ t/s prefill, очень даже юзабельно с контекстом на 256k токенов. Намопинаю что на GPT-4 Turbo and GPT-4o они "значительно расширили (поняли да) контекст до 128,000 tokens, те ВДВОЕ меньше чем на локальном железе. На нвидиа железе префил намного быстрее, но у меня нет железа чтобы подтвердить. Опустим расходы на электричество и предположим что оно нам всем бесплатно раздается по дотации c атомного реактора за 0 рублей.

Локальный чатГПТ установлен, можно использовать DeepSeek Harness что лучше даже чем Клауд Жопус и при нормальной настройке и файлы картинки принимает. дежае веб поиск доступен если у вас лежит 1$ на аккаунте (1000 web search тул колов они продают за $0.75 USD что равняется цене додстера