别被 AI 估算工时的准确率给骗了，实测数据揭露了真相

最近在研究项目管理自动化，发现很多团队在吹 AI 预估工时和成本的精准度，但绝大多数的结论都建立在“事后调优”的泡沫之上。如果把 AI 估算的精度量化到可证伪的程度，你会发现目前的模型在真实场景下的表现其实相当令人失望。

我最近深度分析了一套针对 AI 估算能力的压力测试，这套测试最硬核的地方在于它在运行前就把“及格线”提交到了 Git 仓库，彻底杜绝了那种在结果出来后通过微调参数来刷分的惯例。测试方使用了包括 COCOMO81 和 PROMISE 在内的 9 个公开数据集进行实操验证，结论非常残酷：目前没有任何一种模型类别能够通过预设的基准线。

为了让大家明白什么叫“真正的精准”，我们可以看看这套测试设定的严苛判定标准。它不是简单地看平均误差，而是设定了四个维度的硬指标：

首先是 PRED(25)，即预估值在实际值 25% 误差范围内的比例必须 $\ge 55\%$，且这个结果必须在至少 2 个独立数据集上达成。其次是 MdAPE（中位数绝对百分比误差）必须 $\le 22\%$。最关键的是覆盖率，实际值落在名义 90% 区间内的概率必须在 90% $\pm 5$ 个百分点之间。最后，模型必须击败简单的类别中位数回归以及人类专家的历史记录值。如果一个 AI 模型连简单的中位数回归都赢不了，那它所谓的“智能预估”其实毫无意义。

在分析这套测试时，我发现一个最值得开发者警惕的坑：数据泄露（Leakage）。很多 AI 估算模型在论文里看起来准确率极高，其实是因为数据集里包含了“后验”属性。

举个具体的例子，在某些数据集里有一个维度叫“需求稳定性”，很多模型把这个作为输入特征。但实际上，这个指标是通过项目进入测试阶段后的修改次数计算出来的。在项目启动、需要进行工时预估的那个时间点，这个数据根本不存在。如果模型使用了这个特征，就相当于在考试时偷看了答案。这套基准测试通过自动化审计剔除了所有后验属性，只保留了真正的先验数据，结果模型精度瞬间崩塌。

如果你现在正计划在公司内部部署 AI Agent 来做任务估算，我建议你放弃简单的随机切分数据集（Random Split）验证法。因为在项目数据中，同一个项目的不同模块往往具有高度相关性，随机切分会导致模型在训练集中见过该项目的部分特征，从而在测试集中产生“记忆效应”。

正确的验证逻辑应该是采用时间顺序切分（Time-ordered evaluation）或者留项目交叉验证（Leave-projects-out）。只有让模型在完全没见过的项目上进行预估，得出的准确率才是真实的。

对于想要复现这套验证逻辑的同学，可以直接参考 https://github.com/NaCode-Studios/metis-benchmark 这个 MIT 协议的开源项目。建议在部署 AI 估算工具前，先用这套标准跑一遍，看看你的模型是在真正预估未来，还是在通过数据泄露地“预测过去”。