GPT-6 Astra лучше других ИИ написала бота StarCraft за час, но проигрывает ботам, написанным людьми
В тесте, где модели ИИ за час писали бота для StarCraft: Brood War, лучше всех справилась GPT-6 Astra, но её бот сильно проигрывает ботам, написанным людьми.
В StarSkirmish Bench v0.2 каждая модель ИИ за час писала на C++ бота за протосов. В конце часа засчитывался код, который оставался в папке бота, поэтому модель должна была поддерживать его работоспособность. Счёт модели — средняя доля побед в пяти запусках против 13 соперников: 10 ботов, написанных людьми, и трёх демонстрационных. Каждый бот играл с каждым соперником по шесть раз на трёх картах.
Лучшей стала GPT-6 Astra: она заметно опередила GPT-6.1 Sol. Gemini 4 Argon, Claude Opus 5.5 и Claude Fable 5.1 авторы сочли практически равными — их результаты лежат между 37 и 39.
Сильнейшие боты, написанные людьми, всё ещё далеко впереди. Против Stardust, PurpleWave и BananaBrain даже GPT-6 Astra выигрывает лишь 7% партий. Авторы оговаривают, что час на размышления и три карты для двух игроков упрощают задачу по сравнению с настоящими турнирами.