Зацените что на гитхабе нашёл
whichllm — полезная мелочь для вообще подумать о локальном ИИ: он сам определяет видеокарту, процессор и объём памяти и подсказывает, какая open-source модель реально будет быстро и хорошо работать именно на вашем железе — по актуальным бенчмаркам, а не по числу параметров.
Одна команда — и утилита сама скачивает нужную модель и запустит офлайн-чат. За несколько месяцев набрал 6к звёзд.
Даже на моём маке с M4 и 24гб unified memory можно покрутить Qwen на 30b параметров
Больше новостей, заметок и, вскоре, ещё и бесплатные уроки по работе с агентами и нейронками в моём тг-канале.