OpenAI出大招,用AI打AI
via AI新闻资讯
核心要点
OpenAI发布自动化红队模型GPT-Red,通过自博弈训练将提示注入失败率降至0.05%。
GPT-Red的攻击能力远超人类,特定场景攻击成功率84%,而人类仅为13%。
该机制已整合进生产流程,在提升鲁棒性的同时没有牺牲模型的通用能力。
这次OpenAI走的是一条典型的“以毒攻毒”路线。以前做模型安全主要靠人工红队去“找茬”,但人的精力有限,根本跟不上模型迭代的速度。现在直接搞个GPT-Red来搞自博弈,让AI自己攻击自己,通过大规模的对抗样本强行给防御方“喂药”,这种进化速度确实恐怖。
最让我关注的是它在自动售货机智能体上的实战表现,能模拟改价格、窃订单,这说明随着AI Agent接入更多现实API,安全漏洞不再是简单的“对话跑题”,而是实打实的资产损失。好在这次更新证明了安全和性能并不冲突,不需要为了安全而让模型变得死板(比如动不动就回一句“作为一个AI语言模型,我无法...”)。这种自动化安全飞轮一旦跑通,以后大模型的鲁棒性可能会迎来质的飞跃。
事件追踪 · 相关报道
欧盟出手了,谷歌Android系统的“护城河”被强行拆了一块
4小时前
欧盟这次给谷歌下死手,安卓要被强制“拆墙”了
4小时前
OpenAI前CTO出来创业了,首款模型直接“致敬”中国技术
5小时前
英伟达内部也抢芯片?黄仁勋得亲自下场协调
7小时前
前OpenAI CTO穆拉蒂出手了
10小时前
微软销售开始“搞事情”:直接在对比中贬低OpenAI和Claude
10小时前
全部回复 (0)
还没有回复,来发第一条吧!
