Во-первых, то полный вес. Активный в 4 раза меньше, так как из всех 16 экспертов единовременно работает только 8. Более того, некоторые слои экспертов одинаковы, а значит в итоге можно ожидать производительсть на уровне 34B моделей. Это если запускать с точностью FP16.
Во-первых, то полный вес модели. Активный в 4 раза меньше, так как из всех 16 экспертов единовременно работает только 8. Более того, некоторые слои экспертов одинаковы, а значит в итоге можно ожидать производительсть на уровне 34B моделей. По крайней мере по пропускной способности памяти.
Во-вторых, 320 гигов надо, если запускать с точностью FP16. LLM неплохо работают на 4 битах, и даже ниже с некоторыми изощрениями. То есть опять же получаем в 4 раза меньше памяти для того чтобы поднять такую модель в приличном качестве. Ждём 4 битного KV кэша в llamacpp, и скорее всего получится запустить такую модель на машине с RTX 3090 и 64ГБ DDR5 памяти.
Да, но: We recommend having at least 320GB of memory to run the model.
Майнеры только смогут позволить походу
Сейчас появляется много независимых онлайн чатов, где вы можете выбирать модель с которой хотите работать (из досуптных LLM).
Во-первых, то полный вес. Активный в 4 раза меньше, так как из всех 16 экспертов единовременно работает только 8. Более того, некоторые слои экспертов одинаковы, а значит в итоге можно ожидать производительсть на уровне 34B моделей. Это если запускать с точностью FP16.
Во-первых, то полный вес модели. Активный в 4 раза меньше, так как из всех 16 экспертов единовременно работает только 8. Более того, некоторые слои экспертов одинаковы, а значит в итоге можно ожидать производительсть на уровне 34B моделей. По крайней мере по пропускной способности памяти.
Во-вторых, 320 гигов надо, если запускать с точностью FP16. LLM неплохо работают на 4 битах, и даже ниже с некоторыми изощрениями. То есть опять же получаем в 4 раза меньше памяти для того чтобы поднять такую модель в приличном качестве. Ждём 4 битного KV кэша в llamacpp, и скорее всего получится запустить такую модель на машине с RTX 3090 и 64ГБ DDR5 памяти.