🖥 5 моделей для локального ИИ — что выбрать под своё железо?
Собрал пятёрку для кода, автоматизации и ИИ-агентов. Критерий — результаты в тестах и объём памяти, который придётся под них выделить.
Qwen3.8-27B — с неё я бы начинал
73 в Terminal-Bench 2.1 и 61,7 в SWE-bench Pro — тестах работы в терминале и исправления кода.
Страница модели. Сборка MLX 4-bit для Mac весит около 16 ГБ. Самый доступный вход в этой подборке.
Qwen3.8-Flash-Next — следующий шаг для сложных задач
58,7 в DeepSWE против 42,2 у версии 27B. Это тест решения задач разработки агентом.
Страница модели. Сборка Q4 — около 120 ГБ. Рассматривать, когда возможностей маленькой модели уже не хватает.
GLM-5.3-Flash — кандидат для агентов, работающих с кодом
84,3 в Terminal-Bench 2.1 и 63,4 в DeepSWE.
У MLX-сборки 4-bit около 204 ГБ весов, автор указывает 224 ГБ минимальной RAM.
Ornith 1.5 397B — для кода и сложных рассуждений
86,1 в Terminal-Bench 2.1, 65,1 в SWE-bench Pro и 92,8 в GPQA Diamond — тесте сложных научных вопросов.
Сборка Q4 — около 244 ГБ. Вариант для мощной рабочей станции.
DeepSeek V4.1 Flash — самые высокие баллы пятёрки в агентских тестах
90,6 в Terminal-Bench 2.1 и 74,2 в DeepSWE.
GGUF Q4 — около 445 ГБ, но автор сборки предупреждает: поддержка в llama.cpp ещё дорабатывается. Для локального запуска пока экспериментальный вариант.
Размер файла ≠ необходимая память компьютера
Кроме весов, нужен запас на контекст, среду запуска и систему. Модель на 16 ГБ не означает, что компьютера с 16 ГБ хватит.
Начать с модели, которая помещается с запасом, и дать ей реальную рабочую задачу. Покупку железа под сотни гигабайт лучше обосновать результатом такого теста.
Канал про ИИ, публикую подборки, гайды понятным языком, мнения — интересный и полезный контент.
Каждый найдет как сэкономить время и увеличить продуктивность с нейросетями⬇