为什么大模型防御层明明信心满满，却还是会被一个单词直接带偏？

最近在翻看关于 Prompt Injection（提示词注入）检测的论文，有一篇关于「潜在诊断分类法」（Latent Diagnostic Taxonomy）的研究挺有意思。大家平时做安全防护，习惯性地会训练一个分类器作为第一道防线，只要分类器说“这是注入攻击”，我们就拦截；如果它说“安全”，我们就放行。但问题是，分类器自己也会“一本正经地胡说八道”。

这篇论文揭示了一个很扎心的事实：在针对注入攻击的实验中，即便分类器表现出极高的置信度，其中竟然有大约 77% 的决策在去掉仅仅一个 token 之后就会发生反转。这意味着，你以为稳如泰山的防御层，其实极其脆弱。

研究者提出了一个很有实操价值的思路，不再是盲目追求分类器的准确率，而是试图去诊断分类器的“决策逻辑”到底靠不靠谱。他们把这种诊断分成了三个维度：

• 安全信任区： 分类器给出的结论是稳固的，即便微调输入，逻辑依然一致，这类决策可以直接采纳。
• 启发式偏差/覆盖区（Heuristic Bias/Override）： 这是最容易踩坑的地方。分类器可能只是捕捉到了某种统计学上的“捷径”（Shortcut），比如看到某个特定的标点或高频词就判定为攻击，这种决策其实是靠“直觉”在跑，而不是真的理解语义。
• 上下文不足区（Insufficient Context）： 这种情况下分类器其实是“由于没看懂而不敢确定”，需要转交给人工或者更高级的安全模型进行复审。

为了实现这个框架，他们通过寻找“潜在支持向量”（Latent Support Vectors）来锁定那些真正能改变分类器判断的关键 token。这种做法其实是在给 AI 安全层做“压力测试”——通过剥离关键特征，看看分类器是真懂攻击逻辑，还是仅仅在玩文字游戏。

对于正在做大模型应用安全部署的同学来说，这个思路很有启发：不要只看分类器的 Accuracy 或 F1-score，更要关注它的 Robustness。如果一个防御模型对单个 token 的变动异常敏感，那它大概率只是学到了某种虚假的关联，这种“伪安全”在实战中比没有防御还要危险。

TAGS: Prompt Injection, LLM Security, Classifier

[论文核心逻辑参考]
1. 维度优化分类器构建 (Dimensionality-optimized classifier)
2. 寻找潜在支持向量 (Locating latent support vectors)
3. 构建诊断分类法 (Constructing diagnostic taxonomy)