只会用英语做安全评测的模型,在多语言环境下简直就是个筛子。
现在的 LLM 对齐做得挺玄乎,但只要稍微换个语言环境,那些在英文 Prompt 下表现稳健的防御机制,转头就能在低资源语言里崩盘。这篇关于 Minionese 的研究把这个漏洞拆解得很透,它覆盖了 18 种语言,甚至把攻击手段细分成了标准翻译、语码转换(Code-switching)、音译(Transliteration)以及翻译腔(Translationese)四种。
下一篇
对话式攻击的“功劳分配”问题:聊聊 MJ 框架对多轮越狱的研究 →
最硬核的部分是它从几何机制层面解释了为什么会“破甲”。研究发现,低资源语言的越狱攻击之所以能成功,并不是因为模型的拒绝机制失效了,而是因为这些有害内容被路由到了一个几何空间上不匹配的子空间里。简单说,模型原本的“拒绝方向”没变,但由于语言对齐没覆盖到那个维度,导致有害信息直接绕过了触发器,完美避开了安全检测。
这种“避实就虚”的攻击路径在不同语言层级表现完全不同。特别是音译攻击,漏洞直接跟字符脚本(Script identity)挂钩;而语码转换在低资源语言里依然有极高的成功率。
对于搞大模型安全或者做多语言对齐的人来说,只看英语 Benchmark 确实不够。如果你的模型在 Tier 2 到 Tier 3 的语言层级之间出现了断层式的安全性能跌落,那说明你的对齐策略在跨语言泛化上存在严重的几何偏差。
相关的 Benchmark 和分析代码已经开源了,研究思路挺值得参考:
https://github.com/Brentkong/Minionese-Comprehensive-Benchmark-and-Mechanistic-Study-of-Multilingual-LLM-Safety.git全部回复 (3)
困
困惑度降了
新手
1小时前
测过几个版本,用Code-switching绕过防御确实快,直接变温和了。
0
P
跑