DeepSeek, GLM, Qwen и MiniMax в SWE-бенчмарках: что говорят публичные результаты

Это обзор публичных результатов, а не мой самостоятельный прогон моделей. Я свёл вместе SWE-bench Verified и DeepSWE, чтобы посмотреть не только на проценты, но и на стоимость, число шагов и ограничения самих тестов.


Короткий ответ: в опубликованной DeepSeek таблице от 17 октября версия V4.1 Flash-1017 показывает 77,0% на DeepSWE v1.1. Это выше показателей остальных моделей в той же таблице. Но независимая страница DeepSWE содержит более ранний срез, где впереди GLM-5.3 и Kimi K3. Это разные поколения моделей и источников, поэтому смешивать эти результаты в один рейтинг нельзя.


Свежая таблица DeepSeek


В анонсе DeepSeek от 17 октября приведено сравнение DeepSWE v1.1. Для этой части теста указан Mini-SWE-V2 harness. Получились такие значения Pass@1:


DeepSeek V4.1 Flash-1017 — 77,0%

DeepSeek V4.1 Flash — 74,2%

Claude Opus 5 — 74,0%

GPT-5.6-Sol — 73,0%

Kimi K3 — 67,5%

GLM 5.3 — 66,9%


Это заметный результат для Flash-версии: в таблице она выше Pro-моделей конкурентов и собственной предыдущей версии. Но цифры опубликованы самим DeepSeek. В таблице не раскрыты интервалы погрешности и все параметры запуска каждого конкурента, поэтому правильнее считать её хорошим ориентиром, а не окончательным независимым рейтингом.


Что показывает страница DeepSWE


На официальной странице DeepSWE есть другой срез: 113 задач, обновление от 22 сентября 2026 года, единый mini-SWE-agent harness. Таблица показывает не только Pass@1, но и среднюю стоимость одного решения, выходные токены и количество шагов:


GLM-5.3 [max] — 69% ±3%; $3,99; 80 тыс. выходных токенов; 124 шага.

Kimi K3 [max] — 69% ±5%; $4,65; 81 тыс. токенов; 98 шагов.

DeepSeek V4 Pro [max] — 63% ±6%; $1,67; 106 тыс. токенов; 155 шагов.

GLM-5.3 Flash [max] — 63% ±4%; $0,24; 73 тыс. токенов; 123 шага.

Qwen3.8 Max [xhigh] — 57% ±3%; $3,73; 95 тыс. токенов; 111 шагов.

DeepSeek V4 Flash [max] — 53% ±4%; $0,46; 108 тыс. токенов; 153 шага.


В этом срезе GLM-5.3 и Kimi K3 имеют одинаковый точечный результат, а их интервалы погрешности перекрываются: по этим данным нельзя уверенно объявить один из них победителем. У DeepSeek V4 Pro ниже средняя стоимость, чем у них, но и ниже Pass@1. У GLM-5.3 Flash интересное соотношение цены и результата: в этом конкретном прогоне он решил больше задач, чем DeepSeek V4 Flash, при меньшей средней стоимости.


Расход здесь — цена завершения задачи в условиях этого теста, а не цена одного запроса и не гарантия такого же расхода в другом агенте. Уровни effort тоже различаются: например, Qwen указан на xhigh, остальные выбранные строки — на max. Это важно учитывать вместе с разбросом результатов.


А что с SWE-bench Verified?


Это другой набор из 500 отобранных задач по реальным GitHub-репозиториям. В официальной таблице есть, например, MiniMax M2.5 [high] с результатом 75,8% и GLM 5 [high] с 72,8% в mini-SWE-agent 2.0.0 от 17 февраля 2026 года. DeepSeek V3.2 Reasoner показывает 60,0%, но его запись использует mini-SWE-agent 1.17.1 от 1 декабря 2025 года. Это старшая версия DeepSeek и другая версия агента, так что ставить эти три числа в один честный рейтинг нельзя.


Отсюда и расхождения между заголовками вроде «модель X обошла модель Y»: меняются задачи, агентская оболочка, версия модели, effort, бюджет шагов и способ подсчёта. SWE-bench Verified полезен для исправления конкретных старых GitHub issues; DeepSWE добавляет новые задачи на более длинную разработку и проверяет их отдельными тестами. Оба измеряют связку «модель + агент + инструменты», а не только базовую языковую модель.


Как я бы читал эти результаты


1. Если нужен самый сильный публичный результат на DeepSWE, у DeepSeek V4.1 Flash-1017 есть весомая заявка по таблице производителя: 77,0% Pass@1. Я бы дождался независимого повторения на том же harness.

2. Если важна цена задачи, смотрите на cost рядом с Pass@1: в сентябрьском срезе GLM-5.3 Flash выглядит эффективным вариантом, а DeepSeek V4 Pro дешевле более сильных Pro-конфигураций.

3. Если выбираете модель для своего репозитория, прогоните одинаковые задачи с одинаковыми инструментами и лимитами. Один leaderboard не предскажет, насколько хорошо агент разберётся именно в вашем стеке и тестах.


Итог: опубликованные данные показывают быстрый прогресс DeepSeek Flash, но не дают универсального победителя для любой разработки. Важны конкретная версия модели, harness, уровень рассуждений и стоимость успешно решённой задачи.


Источники:


DeepSeek V4.1 Flash-1017: анонс и таблица DeepSWE v1.1 от 17 октября 2026 года — https://api-docs.deepseek.com/news/news261017/


DeepSWE: лидерборд, конфигурации и методология — https://deepswe.datacurve.ai/ и https://deepswe.datacurve.ai/blog/deepswe


SWE-bench: официальный лидерборд и описания Verified / mini-SWE-agent — https://www.swebench.com/