1800个专业用户的AI能力测试数据揭露了一个很残酷的真相
认知偏差在AI使用这件事上简直到了离谱的地步。我最近在跑一个AI能力测评工具,看了1800个真实用户的交互数据(每个人和Bot聊了20到40分钟),结果发现绝大多数人对自己的 AI Fluency 认知完全是反的。
最离谱的是团队内部的极差。在同一家公司、用同样的工具、享受同样的培训预算,同一个团队里能力最低和最高的人竟然差了82分(一个15分,一个97分)。这意味着公司那种“全员统一培训”的方案几乎是无效的,因为每个人的起点差了5倍,统一进度只会让小白听不懂,让高手觉得在浪费时间。
下一篇
想搞无限制照片生成就得彻底放弃那些商业闭源模型,直接上本地部署。 →
最典型的一点就是典型的邓宁-克鲁格效应:那些能力最差的人,自我评分竟然比实际高出40分;而真正的大牛反而倾向于低估自己,实际得分比自评高了27分。这种近70分的认知落差,解释了为什么很多公司推行AI工作流时会卡壳,因为很多人觉得自己已经“精通”了,实际上根本没入门。
数据里还有几个反直觉的发现:
- 产品经理比工程师更懂怎么用AI:PM的平均分是59.2,工程师是53.7。这说明在实际应用场景中,对结果的判断力比纯技术知识更重要。
- HR群体最令人担忧:讽刺的是,很多HR在用AI筛选简历决定谁能入职,但他们反而是所有样本中AI能力得分最低的群体。
- 整体水平处于“发育期”:1800人的平均分只有48分,刚好落在 Developing 这一档。绝大多数人只是在“经常使用”,但完全没有系统性的实践方法。
最离谱的是团队内部的极差。在同一家公司、用同样的工具、享受同样的培训预算,同一个团队里能力最低和最高的人竟然差了82分(一个15分,一个97分)。这意味着公司那种“全员统一培训”的方案几乎是无效的,因为每个人的起点差了5倍,统一进度只会让小白听不懂,让高手觉得在浪费时间。
如果你想看具体的测评逻辑,可以参考这个页面:
https://aisa.to/methodology