用 AI 玩街机游戏来做主观评测,这思路挺有意思。
现在的 LLM 评测大多卡在 MMLU 或者 GSM8K 这些静态数据集上,跑出来的分数再高,也难免觉得有些虚高。这个叫 AI-Arcade 的项目直接把场景切到了游戏逻辑里,通过让 AI 去玩街机游戏,观察它在复杂交互环境下的表现,从而给出一个更贴近人类直觉的主观评测(Subjective Eval)。
下一篇
让 AI 助手拥有“长期记忆”这件事,如果只靠简单的上下文注入 →
这种从“问答模式”转向“交互模式”的逻辑,对于评估 Agent 的决策能力和环境感知力非常关键。如果你在做类似自动化控制或者复杂任务规划的研究,这种基于游戏环境的评测框架比单纯跑 Prompt 更有工程参考价值。
具体的项目地址在这里:
https://ai-arcade.app对于追求 Agent 实际落地能力的开发者来说,这种能把 AI 性能具象化到动态场景里的工具,比看那些冷冰冰的 Benchmark 报告要靠谱得多。