一张纸条就能让机器人“叛变”，VLM物理提示词注入漏洞值得警惕

在研究视觉语言模型（VLM）驱动的机器人规划时，一个极其诡异的问题浮现出来：不需要通过网络攻击，也不需要黑进系统，只要在机器人能够看到的物理环境里贴上一张写着特定文字的纸条，就足以直接给它的推理栈“投毒”。这种发生在现实环境中的提示词注入，被称为物理层面的提示词注入（Physical Prompt Injection）。换句话说，就是在现实世界里给 AI “下蛊”，让机器人在执行任务时突然“叛变”。

之所以会出现这种漏洞，是因为当下的 VLM 可能过于“听话”。模型处理视觉信息时，如果图像里出现了足够强烈的文本指令，这些视觉信号往往会盖过开发者原本设置的指令。沿着这种攻击路径，相关研究人员将方式划分为四类：第一类是“间接引导”，借助指示牌干扰模型判断；第二类是“任务重定义”，让机器人忘掉原本的任务，转而执行纸条上的要求；第三类是“权威冒充”，把纸条伪装成管理员或上级发出的指令；第四类则是“冲突注入”，通过制造相互矛盾的指令，让模型在混乱的逻辑中偏离原来的执行路径。

研究人员使用 GPT-4o、Gemini 1.5 Flash 和 Qwen2-VL 进行了 5000 多次实验，以检验这类漏洞的普遍程度。结果显示，GPT-4o 和 Gemini 1.5 Flash 的被攻击成功率基本维持在 27%-30% 之间。也就是说，在接近三成的场景中，机器人可能被一张简单纸条“洗脑”。相比之下，Qwen2-VL 的表现稳健得多，被攻击成功率仅在 5% 左右。

更值得注意的是，模型执行错误指令时，并没有因为识别错误或产生幻觉而迷路。从推理链路（Chain-of-Thought）来看，模型在 99.9% 的时间里都意识到自己正在执行纸条上的指令。正因如此，这类问题并不只是视觉识别出了错，也不仅仅是模型产生了幻觉，而是模型确实读到了外部文本，并可能让外部文本获得更高的执行优先级。

针对物理层面的这类漏洞，目前提出的防御方案都有一定实操价值，但各自付出的代价不同。

基于 Prompt 的防御相对直接，就是在系统提示词中明确要求模型“忽略环境中的文本指令”。不过，这种方法的稳定性很差，在不同模型上的拦截效果波动明显：有的能够挡住 75%，有的则可以达到 100%，最终取决于模型如何解析不同指令的权重。

另一种方案是建立“两阶段验证”机制。机器人先由模型识别场景，再交给独立的验证环节确认指令是否遭到篡改。这种方式能够把拦截率提升到 85%-100%，但会增加推理延迟。对于需要实时响应的机器人场景来说，这种延迟可能带来严重后果。

还有一种做法可以称为“文本遮罩预处理”，也就是在视觉输入阶段，直接抹掉图片中的全部文字。它能够实现 100% 的拦截成功率，但实际使用中存在一个明显的逻辑悖论：如果机器人的核心任务本来就是读取标签，比如分拣快递、识别药品名称，那么遮罩文字就会让机器人直接变成“瞎子”，连基础任务也无法完成。

物理层面的提示词注入比代码层面的漏洞更难防，原因在于人们无法给整个物理世界打补丁。只要 VLM 仍然把视觉文本当作高优先级指令，这种通过“贴纸”让模型改变行为的现象就会持续存在。