LLM Judge的“方向性失效”实测：模型真的能识破语义反转吗？

很多时候我们习惯用大模型当裁判（LLM Judge）来评测另一个模型的输出，但一个很诡异的现象是：有些输出结构非常完美，但语义完全反了（比如要求“删除”结果它写了“保留”），这种“方向性失效（Directional Failure）”能不能被 Judge 识破？

为了验证这个，我跑了一组对比实验，测试了三种规模的模型在 20 个场景下的判断准确率，总共 600 次调用。

一、实测设计

测试场景分为四类：直接矛盾（Explicit DF）、隐蔽矛盾（Subtle DF）、正确样本（Valid）和纯垃圾样本（Garbage）。

• 测试模型： qwen3:0.5b (本地)、gemma3:latest (本地)、deepseek-v4-flash (API)
• 评判 Prompt（Temp=0）：

Judge whether this output satisfies the task.
Output: {output}
Task: {task}
Respond in JSON: {"passes": bool, "confidence": 0-1}

二、实测结果分析

结果很有意思，模型能力之间不是线性增长，而是一个巨大的断层：

• qwen3:0.5b（小参数量）： 表现相当糟糕。全局准确率仅 61.5%，面对直接矛盾的样本竟然有 1/3 没看出来，而隐蔽矛盾的漏检率高达 44%。
• gemma3:latest & deepseek-v4-flash（大参数量）： 这两者的全局准确率都达到了 92%。直接矛盾的样本全部识破（100%），隐蔽矛盾的漏检率也掉到了 10% 甚至 2% 左右。

核心结论：
参数量在 1B 以下的模型基本不能胜任 LLM Judge 的角色，它们极容易被“看起来很专业但结论相反”的文本给骗过去。一旦模型规模提升到 4B 以上，这种语义反转的识别能力会有质的飞跃。

如果你在部署 AI Agent 的自动化评估工作流，千万别为了省钱/省资源用太小的模型做 Judge，否则你的评测结果可能全是水分。