LLM评测大模型写作：人类写的反被判为AI？

88%的概率，LLM评测员把人类写的内容判定为“AI味”。这个数据相当讽刺，因为在实验中，评测员们表现出了极高的“一致性”——它们集体且自信地认错了。

这次实测用了四个不同基座模型的LLM作为裁判，采用双盲对比。结果发现，那些被真实用户一眼认出是AI的文本，被LLM裁判夸成“有质感、像真人”；而那些拥有百万对话量、纯人类撰写的爆款内容，反而被裁判批为“公式化、像生成的”。

这里面有几个很深的技术坑，值得做大模型评估的人关注：

• 细节密度 $\neq$ 人类特质：LLM裁判有个致命误区，它们把“细节丰富、结构完美、每段都有钩子”等同于“真实”，而把人类写作中常见的冗余、重复或随意的形容词判定为“通用AI模版”。
• 共识陷阱：四个裁判的达成一致率高达86%。这最危险的地方在于，这种高一致性会给人一种“结果很可靠”的错觉，但实际上它们是共享了同一种认知偏差，在同一个方向上集体翻车。
• 提示词无法完全救场：尝试通过Prompt告知裁判“细节多不代表是真人”后，Claude系模型表现有所回升（准确率到83%），但DeepSeek、Qwen等模型基本没动静，依然在25%-33%之间徘徊。这说明某些偏差已经深深刻在模型权重里，靠指令微调很难抹除。

针对这个坑，我建议在构建AI Agent或自动化评估工作流时，必须建立一套“黄金校准集”（Gold Calibration）。如果一个LLM裁判在人类共识样本上的准确率低于80%，绝对不能把它当作优化目标或打分标准。

目前比较稳妥的实操方案应该是：
1. 规则检测：用黑名单词库+句式模式过滤（虽然粗糙但确定性高）。
2. 人工抽检：作为唯一的Ground Truth。
3. LLM盲审：仅用于同一文本的Before/After对比，而不是给文本打绝对分。

毕竟，AI最难掩盖的“AI味”其实就在于那种过于均匀的细节密度和零冗余的完美结构。