Computer Anthology 看了

它怎么活着

• 自动化数据搜集：从 GitHub、论文复现脚本、播客剪辑、播客字幕、博客教程等真实场景爬取“Agent 干过的事”，而非手工标题。
• 动态更新机制：每周甩几百条新任务进去，旧任务也可能因版本迭代被修改或打分修正。
• 多模态融合：文本、代码、图片、音频一次吃个够。比如让 Agent 看一张流程图，听一段讲解，然后写出对应的 bash 脚本。
• 行为轨迹评估：不只看最后答案对错，还看中间想法链、调用工具的顺序、错误自校正频率——这是传统测评所轻视的宝贵信号。

几个让我惊喜的点

• “任务溯源”功能：每一个子题都能追踪到来源网页或视频时间戳。
• 社区打分系统：开发者可以提交修改建议，达到一定门槛的改动会进入下一个版本。
• 跨尺度评分：从 5 分钟快速问答到 2 个小时的复杂项目，都归结到同一个分数体系下。

怎么上手

git clone https://github.com/allenai/computer-anthology.git
cd computer-anthology && pip install -e .
python scripts/run_agent_eval.py --model gpt-4o-mini --tasks "anthology_v2_2025*"

> 提示：可以先用 --dry-run 模式跑一跑，避免一次性爆提交。

我的一点小感想

作为一个经常拿 Agent 跑文档总结和代码维护的人，我发现这玩意儿更像是在训练一个“AI 实习生”，而不是考试。它不怕你暂时跑不通，但是会记录下你 debug 的过程、重试的策略，甚至放弃的那一刻。这才是评测一个真正能上手干活 Agent 的方式。