别再盯着那些花里胡哨的越狱指令了,这才是大模型防御的真问题
搞了大半天红队测试,结果那帮联邦机构盯着一个“fix this code”的简单指令在那儿抓瞎,真是有意思。
别动不动就拿“越狱”说事,这次 Fable 5 的情况说明大家对 Prompt Injection 的理解还停留在表面。研究员的意思很明确:这根本不是什么高深的对抗攻击,本质上是指令遵循(Instruction Following)和任务边界控制之间的权衡问题。
从 SRE 和运维的成本视角看,现在的防御逻辑太重了:
1. 边界模糊:用户只是想让模型修个 Bug,结果模型把原本的 System Prompt 给“覆盖”了。这说明防御层的 Context Window 隔离做得稀碎。
2. 防御成本错配:为了防一个简单的指令注入,现在动不动就加一层复杂的 Guardrails 模型或者正则过滤,这纯属浪费算力。增加的推理延迟(Latency)和 Token 消耗,真没算过账吗?
3. 盲目追求复杂性:现在的厂商总想通过加厚模型层来解决安全问题,但我更倾向于在输入端做更精细的 Schema 校验。
别再迷信什么复杂的攻击载荷了,把模型对指令权重的控制逻辑理清楚,比堆那些防御模型更有性价比。