Файлы выше README.md это веса модели "квантованные", то есть сжатые, в разных степенях сжатия. "mmproj" файл ниже — адаптер для работы зрения модели. Без его подключения модель сможет "понимать" только текст.
Что значит в разных степенях сжатия? Тут как с картинками или музыкой — есть lossless форматы (формат safetensors), a есть lossy (gguf в разных степенях точности).
Ornith-1.5-9B-BF16.gguf это практически lossless по качеству и весит он 18.4Gb. Это излишне, как jpeg с качеством 100%, или даже более того. Ornith-1.5-9B-Q8_0.gguf уже сжат в два раза. Точность весов модели уменьшена с 16 бит до 8 бит. Как ни странно, замеры обычно показывают что Q8 все еще очень близок к lossless.
Как правило, деградация качества начинается примерно с Q6 и становится заметной ниже Q4. Но на самом деле тут много нюансов, — разные модели по-разному реагируют на квантование.
Нужно выбрать что-то одно из этих файлов и скачать. Что-то что уместится допустим в 8 ГБ видеопамяти. Из рассчета:
Вес файла модели + вес адаптер зрения + KV-кеш.
KV-кеш это тот кеш который используется для хранения текущего контекстного окна модели. И KV-кеш здесь неизвестная переменная. У разных моделей на разной архитектуре этот кеш занимает различный объем памяти, и единственное сходство в том, что чем больше контекстное окно, тем больше будет кеш, что логично.
Наивно предположу что в 8 ГБ видеопамяти может уместится Q4_K_M или Q5_K_M квант. Скачаю оба и адаптер зрения.

Gguf

llama.cpp для самых маленьких

Подготовка