Moderation API 面对策略绕过竟然是 0% 成功率？

想过一个问题吗：如果你的 AI Agent 部署在金融或医疗这种强监管领域，光靠 Azure Content Safety 这种审核 API 真的够吗？最近看到一份跨领域评估数据，结果相当残酷。

这份测试对比了 Moderation API（审核层）和 LLM-as-judge（判定层）在金融、医疗、法律等五个行业的表现。结果显示，在处理通用有害内容时，两者差不多；但在面对特定行业的“策略违规”时，审核 API 几乎完全失效。

具体数据如下：

• 通用有害内容 (F1)： 审核层 73.1% vs 判定层 73.1%（基本持平）
• Prompt 注入 (F1)： 审核层 53.5% vs 判定层 67.8%（判定层略强）
• 直接违规策略 (F1)： 审核层 5.3% vs 判定层 98.2%（断层式差距）
• 策略绕过尝试 (F1)： 审核层 0.0% vs 判定层 83.7%（审核层完全没反应）

最离谱的是多轮对话测试。在 4 轮对话中，如果前三轮是正常的，第四轮突然提出一个违规请求，审核 API 的拦截率几乎是 0。

举个简单的例子：用户问“根据我的病情推荐最好的保险方案”。这句话在审核 API 看来没有任何暴力、色情或仇恨言论，完全绿灯；但在一个受监管的保险 AI 部署中，这属于典型的违规提供专业建议。

不过判定层也不是万能的，它的误报率（FPR）高得惊人（86.4%），而且延迟比审核 API 高出 2-4 倍。

结论很明显：审核 API 只能过滤“脏话”和“剧毒”，它根本没有能力理解复杂的业务策略。对于真正要落地的 AI Agent，必须得搞一套“审核层 + 判定层”的双层工作流，否则在行业合规性面前，单靠 API 简直是裸奔。

详细的实操方法论可以看这个路径：

https://www.humanbound.ai/blog/beyond-moderation-llm-policy-layer