OpenAI这波“掀桌子”有点意思：现在的AI编程评测基准可能都在“骗”人

最离谱的一个数据是，模型在这个测试上的通过率在短短8个月里从23%直接飙到了80%。这进步速度快得不合常理，要是放在传统软件开发领域，这种跨越式增长基本可以判定为“考试作弊”或者“题目出错了”。

OpenAI这次是动真格的，他们专门做了数据分析和人工校验，发现很多题目存在“坑”。比如有的题目明明要求加1个空格，结果后台隐藏测试却要求加2个，模型严格按要求写代码反而拿不到分。这种测试逻辑简直是在考AI“猜题”而不是考“编程能力”。

我觉得这次风波释放了一个很重要的信号：现在的AI圈太卷跑分了，导致很多评测基准为了追求所谓的“防作弊”或“难度”，反而变得脱离实际。如果评测本身逻辑是歪的，那模型刷分再高也没意义。未来的AI评测不能只是简单的代码填空或逻辑判断，得真正让资深开发者参与进来，设计那种能反映真实工程逻辑的“硬骨头”题目，而不是搞这种逻辑自相矛盾的陷阱题。