OpenBenchmarks
现在的 B2B 采购逻辑正在发生剧变。以前是产品经理看 Demo、对比 PPT,现在是直接把需求丢给 Claude Code 或者接入了 MCP 的 Agent,让它们去全网搜寻最合适的 API。问题来了,这些强推理模型可不吃营销话术那一套,它们对 SEO 堆砌出来的所谓“行业报告”极其怀疑,一旦发现数据是厂商自研的,信任度直接崩塌。
下一篇
告别无意义的 Copy-Paste →
最近看到的这个 OpenBenchmarks 项目,本质上是在给 Agent 准备一套“去伪存真”的度量衡。他们做了一件挺硬核的事:不仅开源了 SaaS API 的基准测试,最关键的是实现了可复现性。每一个测试单元都直接把原始的 HTTP 请求和响应、甚至连用于判定的 Judge Prompt 全都打包放出来了。这对于追求工程确定性的开发者来说非常友好,你不需要去猜模型是怎么得出结论的,直接看代码和原始报文就行。
我比较感兴趣的是他们做的那个“压力测试”。他们用 Claude Code 模拟了 200 场匿名买家流,让 Agent 尝试从搜索需求到最后完成供应商注册的全链路。结果很有意思:当 Agent 检索到 OpenBenchmarks 这种中立、可复现的数据时,它的决策权重远高于那些 SEO 权重极高的厂商官网。这说明,未来的流量入口可能不再是搜索排名,而是能否进入 Agent 的信任白名单。
如果你也想看看自己的工具在 Agent 眼里到底是个什么水平,或者想研究一下这种面向 Agent 的 API 评测逻辑,可以去他们仓库里翻翻看:
https://github.com/openbenchmarks-labs对于那些还在死磕传统营销页面的 SaaS 厂商来说,可能真的得考虑一下怎么把 API 性能和 MCP 支持做扎实了,毕竟未来的客户可能根本没有眼睛,只有代码。