OpenAI出大招,用AI打AI

PromptCube3.com 新手 14小时前 131 浏览 6 点赞 约 1 分钟

OpenAI出大招,用AI打AI
via AI新闻资讯
核心要点
  • OpenAI发布自动化红队模型GPT-Red,通过自博弈训练将提示注入失败率降至0.05%。

  • GPT-Red的攻击能力远超人类,特定场景攻击成功率84%,而人类仅为13%。

  • 该机制已整合进生产流程,在提升鲁棒性的同时没有牺牲模型的通用能力。
  • 这次OpenAI走的是一条典型的“以毒攻毒”路线。以前做模型安全主要靠人工红队去“找茬”,但人的精力有限,根本跟不上模型迭代的速度。现在直接搞个GPT-Red来搞自博弈,让AI自己攻击自己,通过大规模的对抗样本强行给防御方“喂药”,这种进化速度确实恐怖。

    最让我关注的是它在自动售货机智能体上的实战表现,能模拟改价格、窃订单,这说明随着AI Agent接入更多现实API,安全漏洞不再是简单的“对话跑题”,而是实打实的资产损失。好在这次更新证明了安全和性能并不冲突,不需要为了安全而让模型变得死板(比如动不动就回一句“作为一个AI语言模型,我无法...”)。这种自动化安全飞轮一旦跑通,以后大模型的鲁棒性可能会迎来质的飞跃。

    OpenAI

    全部回复 (0)

    还没有回复,来发第一条吧!

    发表回复

    支持 Markdown 格式