搞AI Agent漏洞挖掘:分享一个带奖金的破甲平台
做QA这么多年,我对任何号称“鲁棒性强”的系统都天然不信任。最近在盯着一个叫Nyx的攻击性Agent,结果发现这帮人把内部测试工具开源了,搞了个Playground,而且直接砸了10万美金作为未来一年的奖金,鼓励大家去hack AI agents。
下一篇
边缘端LLM的安全-效率悖论:SOES指标分析 →
这事的逻辑其实挺有意思。他们意识到AI越狱和破甲最核心的难点在于“分布”——如果攻击样本都在模型的训练分布之内,那防御方很容易通过微调把漏洞堵上。真正的突破口往往在那些模型从未见过的、分布之外的诡异输入里。所以他们索性走众包路线,用钱吸引各路大神去尝试各种奇葩的绕过手段,通过扩大攻击样本的分布来推高AI攻击的边界。
对于我们这种习惯于写测试用例、找边界值的人来说,这种众包破甲其实就是一次大规模的模糊测试(Fuzzing)。比起死磕某个特定的提示词,这种平台化的实战更有价值。
如果你想研究怎么让Agent“脱轨”或者绕过安全限制,可以关注这个开源项目。这种从进攻视角反推防御的逻辑,比单纯看官方的安全指南要实在得多。