GPT-6 Astra 在星际争霸博弈基准测试里居然能赢过 Gemini 4 Argon

让 LLM 写 C++ 脚本去打星际争霸（Brood War），这事儿比单纯跑个代码基准测试有意思得多。最近 StarSkirmish Bench v0.2 出了结果，给各大旗舰模型一个小时时间写 Protoss 机器人，然后互相对砍。结论很残酷：虽然 GPT-6 Astra 拿了第一，但面对顶级人类编写的机器人（比如 Stardust 或 BananaBrain）时，胜率只有 7%。

谁在写代码打星际时最强

这次测试的规则很硬，模型必须在 60 分钟内完成开发，且必须保证代码能通过编译，否则直接出局。

• 第一梯队： GPT-6 Astra 表现最突出，明显领先于第二名的 GPT-6.1 Sol。
• 第二梯队： Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1 基本上打平了，胜率都在 37% 到 39% 之间。
• 性价比之选： GPT-6.1 Sol 比较离谱，它的得分排第二，但单次运行成本只有 GPT-6 Astra 的十分之一左右。
• 垫底情况： Muse Wonder Full 排名第七，表现相当平庸。

决定胜负的关键竟然是“刷题”

通过分析 agent 的执行轨迹发现，模型能不能赢，不完全取决于它写代码的水平，而取决于它在这一小时里怎么分配时间。
那些得分高的模型（比如 GPT-6 Astra 和 Gemini 4 Argon）有个共同特点：它们会在时间很早的时候就开始尝试与最强的 7 个机器人对战。即便当时自己的代码写得烂，被虐得体无完肤，但它们能通过阅读游戏总结和日志来快速迭代。
反之，像 Muse Wonder Full 或 Claude Haiku 5.5 这种模型，基本不怎么尝试挑战强敌，结果自然是胜率低。唯一是个例外的是 Claude Fable 5.1，它几乎全程在打弱鸡机器人，但最后竟然也拿到了 37 分，这说明它的初始代码质量可能较高，但缺乏进化能力。

Gemini 4 Argon 的稳定性问题

这里有个细节值得质疑：Gemini 4 Argon 的表现极其不稳定。
在 5 次独立运行的测试中，Gemini 4 Argon 的最高分和最低分竟然差了 18 个百分点。相比之下，GPT-6 Astra 的波动只有 9 分，Claude Opus 5.5 只有 8 分。这意味着 Gemini 4 Argon 像是在抽奖，运气好能写出强力 Bot，运气差可能直接掉队。而且这次测试中，Gemini 4 Argon 开启了最高推理强度（high reasoning effort），在如此高配的情况下依然波动这么大，确实让人怀疑它的可靠性。

具体的实现细节与坑点

如果你想复刻这个实验，得注意这些技术环境：

• 接口与版本： 必须基于 BWAPI 4.4.0，并在 OpenBW 上运行。
• 地图限制： 比赛只在 Heartbreak Ridge、Benzene 和 Destination 这三张地图上进行。
• 胜负判定： 只要一方建筑被全部摧毁就结束；如果打到 60 分钟（86,400 帧）还没分胜负，就按 BASIL 梯队的规则，谁的击杀数和摧毁数高谁赢。
• 初始条件： 模型拿到的是一个只能采矿的骨架代码，虽然提供了三个 Demo Bot 的源码和 FAP（战斗模拟器）、BWEM（地图分析器）这两个库，但从骨架到能打仗，中间的逻辑跳跃非常大。

个人观点：LLM 离真正的 Agent 还有多远

这次测试揭示了一个很现实的问题：长程推理（Long Horizon Reasoning）依然是 LLM 的死穴。
写一个能跑的 C++ 脚本不难，但要通过“实战 → 分析日志 → 修改代码 → 再次实战”这个闭环来优化策略，对模型的逻辑一致性要求极高。目前看来，即便最强的 GPT-6 Astra 在面对人类顶尖 Bot 时也只有 7% 的胜率，这说明 AI 现在的“进化”速度在极短时间内依然无法对抗人类精心设计的确定性算法。
而且，Gemini 4 Argon 那种巨大的运行方差告诉我们，目前的推理模型在面对复杂工程问题时，依然存在严重的随机性。如果一个模型在同一任务下，不同次运行的结果天差地别，那么它在生产环境中的可预测性就很低。