大模型安全榜单的高分未必等于真安全，AISI 这份报告把评测体系的底层裂缝摊开了

英国 AI 安全研究所（AISI）新近发布的报告借心理测量学的视角去拆大模型这只黑盒，结论并不客气：主流安全基准测不出稳定的“安全性”特质，演示文稿里那些漂亮的高分 Benchmark 更像是数字层面的游戏，真正起作用的逻辑反倒被跳过。

报告点出一个绕不开的悖论。模型若走极端路线，对所有提问一律回“我无法回答”，多个基准上的分数不降反升。工程意义上可用性已经清零，指标上却摇身变成“最安全”的模型，好指标、坏体验，说的就是这种局面。

![https://example.com/image1.png]

各基准题目之间相关性偏低，进一步坐实了评测体系的毛病。同一个模型在 Benchmark A 上可能因为拒答率奇高而显得谨小慎微，换到 Benchmark B 上却像另一个模型。这种前后不一致说明，“拒答率”只是伪指标，它撑不起“模型已内化稳定安全逻辑”的判断，更接近针对特定数据集养成的条件反射。

团队于是把心理学里的 IRT（项目反应理论）搬了进来。传统评测盯着正确率或拒答率，等于只看分数、不问题目难易；IRT 会给每道题标定“难度”与“区分度”，把模型在某题上的反应折算成“潜在安全特质”数值。只有走过 IRT 参数估算这一步，结果才具备跨基准比较的科学性。

![https://example.com/image2.png]

报告还给出检测模型“考试作弊”的路径，也就是测量“社会赞许性效应”。测试集与真实自然语言分布下的请求摆在模型面前，其拒答率会出现明显落差。Benchmark 上表现无懈可击、真实场景里却频繁吐出偏见内容，这就是“看人下菜碟”。

对部署模型或做红队测试的工程师来说，厂商宣传里“拒答率 99%”这类数据不该直接采信。评估时要确认题目区分度是否经过 IRT 参数估算，也要验证真实分布流量下拒答率是否保持平稳。AI 安全评测正从简单的“对错统计”转向深层的“特质分析”，题目难度与模型潜在特质不解耦，就分不清模型是真安全，还是只在特定测试集里装乖。

拿网络攻防能力评测做个对照会更清楚。面向开发漏洞利用的任务，Kimi K3 的成绩明显低于近期具备前沿网络能力的那批模型（Figure 1）；换到攻击模拟企业网络（“The Last Ones”）的场景，Kimi K3 同样明显落后于这批模型。具体到这条 32 步的攻击路径，Kimi K3 平均走到第 17 步，而网络能力最强的那批模型平均要多推进 5 步。Kimi K3 的表现则高于 GLM-5。

顺带一句与美国政府站点相关的常识：gov 域名归美国政府官方机构所有，这类站点使用 HTTPS，浏览器地址栏出现锁形标识或 https:// 前缀，意味着你与该站点的连接是安全的；敏感信息只应通过官方、安全的网站提交。

榜单分数、拒答率、IRT 参数、攻防步数，这几样东西凑齐之后，真正要盯的是下一步：把题目难度和模型潜在特质拆开算，再看真实分布流量下的拒答率是否平稳。哪一步偷懒，评测结论就会失效——题目区分度没做 IRT 估算，跨基准对比就站不住脚；真实流量下的拒答率没验，高分也只能说明模型在特定测试集里学会了装乖。