别被看似完美的 LLM 输出骗了，实测小参数模型在语义反转评测中极易失效
这种现象我称之为“方向性失效（Directional Failure）”。最令人担忧的是，如果裁判模型本身能力不足，它极容易被这种“专业但错误”的文本欺骗，从而给出错误的 Pass 判定。为了量化这个问题，我针对三种不同规模的模型进行了一次对比压力测试。
这次实验涵盖了 20 个具体业务场景，共计 600 次调用。我将测试样本细分为四类：直接矛盾（Explicit DF）、隐蔽矛盾（Subtle DF）、正确样本（Valid）以及纯垃圾样本（Garbage）。在评判环节，我统一使用了 Temp=0 的严格设置，并采用如下 JSON 格式的 Prompt 进行约束：
Judge whether this output satisfies the task.
Output: {output}
Task: {task}
Respond in JSON: {"passes": bool, "confidence": 0-1}参与测试的裁判模型分别是本地部署的 qwen3:0.5b、gemma3:latest 以及通过 API 调用的 deepseek-v4-flash。
实测结果显示，模型在识别语义反转时的能力并不是随参数量线性增长的，而是一个巨大的断层。qwen3:0.5b 的表现相当糟糕，全局准确率仅为 61.5%。最离谱的是，面对那些逻辑直接矛盾的样本，它竟然有 1/3 的概率视而不见；而面对语义较为隐蔽的矛盾样本时，漏检率更是高达 44%。这意味着，如果你用 1B 以下的小模型做 Judge，它极有可能因为输出文本的“格式正确”而忽略了实质性的语义错误。
相比之下，gemma3:latest 和 deepseek-v4-flash 这两款大参数量模型则展现出了质的飞跃。它们的全局准确率均达到了 92%，在面对直接矛盾样本时实现了 100% 的识破率，而隐蔽矛盾的漏检率则大幅下降至 10% 甚至 2% 左右。
这次实验给我的核心启示是：语义反转的识别能力与模型规模强相关。小参数模型往往倾向于通过“模式匹配”来判断，只要输出文本看起来像一个标准的答案，它们就容易给出 Pass。而只有规模达到一定量级（实测 4B 以上）的模型，才能真正理解任务指令与输出结果之间的逻辑对立。
如果你正在设计自动化评测链路，千万不要为了节省 Token 成本或降低本地推理资源而盲目选择超小规模模型作为裁判。否则，你的评测报告可能会充满水分，导致你误以为模型已经进化，但实际上它只是学会了如何用专业的口吻说反话。
