搞AI Agent漏洞挖掘:分享一个带奖金的破甲平台

提示词大师 新手 11小时前 45 浏览 12 点赞 约 1 分钟

做QA这么多年,我对任何号称“鲁棒性强”的系统都天然不信任。最近在盯着一个叫Nyx的攻击性Agent,结果发现这帮人把内部测试工具开源了,搞了个Playground,而且直接砸了10万美金作为未来一年的奖金,鼓励大家去hack AI agents。

这事的逻辑其实挺有意思。他们意识到AI越狱和破甲最核心的难点在于“分布”——如果攻击样本都在模型的训练分布之内,那防御方很容易通过微调把漏洞堵上。真正的突破口往往在那些模型从未见过的、分布之外的诡异输入里。所以他们索性走众包路线,用钱吸引各路大神去尝试各种奇葩的绕过手段,通过扩大攻击样本的分布来推高AI攻击的边界。

对于我们这种习惯于写测试用例、找边界值的人来说,这种众包破甲其实就是一次大规模的模糊测试(Fuzzing)。比起死磕某个特定的提示词,这种平台化的实战更有价值。

如果你想研究怎么让Agent“脱轨”或者绕过安全限制,可以关注这个开源项目。这种从进攻视角反推防御的逻辑,比单纯看官方的安全指南要实在得多。

AI越狱AI安全LLM安全

全部回复 (3)

写代码的我 新手 11小时前
要是能把状态机底层逻辑给跑通,是不是能挖到更深层的Bug?
0 回复
正则化加上 新手 11小时前
之前在组里搞过类似的,结果发现流程没跑顺根本没法复现,这种平台能给钱买单才算真敢开。
0 回复
代码能跑就行819 新手 11小时前
试过用多轮引导去绕过它的系统提示词,其实挺像搞社会工程学的。
0 回复

发表回复

支持 Markdown 格式