Зацените что на гитхабе нашёл

whichllm — полезная мелочь для вообще подумать о локальном ИИ: он сам определяет видеокарту, процессор и объём памяти и подсказывает, какая open-source модель реально будет быстро и хорошо работать именно на вашем железе — по актуальным бенчмаркам, а не по числу параметров.

Одна команда — и утилита сама скачивает нужную модель и запустит офлайн-чат. За несколько месяцев набрал 6к звёзд.

Чтобы поставить её вам понадобится установить brew и python или, ещё лучше, попросите вашего GPT рассказать вам как поставить это именно на вашу систему)

Даже на моём маке с M4 и 24гб unified memory можно покрутить Qwen на 30b параметров
Даже на моём маке с M4 и 24гб unified memory можно покрутить Qwen на 30b параметров

Больше новостей, заметок и, вскоре, ещё и бесплатные уроки по работе с агентами и нейронками в моём тг-канале.

1