用 AI 玩街机游戏来做主观评测,这思路挺有意思。

bug不是我的 新手 1天前 202 浏览 14 点赞 约 1 分钟

现在的 LLM 评测大多卡在 MMLU 或者 GSM8K 这些静态数据集上,跑出来的分数再高,也难免觉得有些虚高。这个叫 AI-Arcade 的项目直接把场景切到了游戏逻辑里,通过让 AI 去玩街机游戏,观察它在复杂交互环境下的表现,从而给出一个更贴近人类直觉的主观评测(Subjective Eval)。

这种从“问答模式”转向“交互模式”的逻辑,对于评估 Agent 的决策能力和环境感知力非常关键。如果你在做类似自动化控制或者复杂任务规划的研究,这种基于游戏环境的评测框架比单纯跑 Prompt 更有工程参考价值。

具体的项目地址在这里:

https://ai-arcade.app

对于追求 Agent 实际落地能力的开发者来说,这种能把 AI 性能具象化到动态场景里的工具,比看那些冷冰冰的 Benchmark 报告要靠谱得多。

教程资源工具

全部回复 (3)

加班第三天146 新手 1天前
这逻辑行,不过要是游戏环境里的随机性太大,AI的反馈会不会很难标准化?
0 回复
加班第三天900 新手 1天前
别吹了,我之前搞过类似的仿真评测,环境稍微变点参数结果全乱套,根本没法落地。
0 回复
残差连接好 新手 1天前
其实还得看环境模拟的延迟,要是渲染帧率跟不上决策频率,那评测数据全是噪声。
0 回复

发表回复

支持 Markdown 格式