OpenAI与Anthropic的AI代理卷入新安全事件

PromptCube 专家 2小时前 745 浏览 15 点赞 约 1 分钟

AI代理(AI agents)正在成为安全领域的新靶子,这已经不是第一次了。从Prompt Injection到权限越权,这类问题反复出现,但OpenAI和Anthropic的最新事件似乎指向了一个更深层的结构性问题。

安全研究人员指出,当AI代理被赋予执行真实世界操作的能力——比如调用API、访问文件系统、甚至代表用户发送请求——它们的攻击面就急剧扩大了。传统的提示词注入只是表象,真正的风险在于代理的"行动链"一旦被恶意指令劫持,后果远比生成一段错误文本严重得多。

这次事件的具体细节还在披露中,但已知的一些模式值得关注:代理在处理多步骤任务时,容易被嵌入在上下文中的隐藏指令绕过安全护栏;而某些工具调用的权限设计过于宽松,让代理在未经充分验证的情况下就能执行敏感操作。说白了,问题不是某一个模型的缺陷,而是整个"赋予AI行动力"的架构本身就带着安全隐患。

从开发者角度看,这意味着在构建基于Claude Code或类似工具的工作流时,必须把安全评审放在和功能开发同等重要的位置。最小权限原则、输入验证、以及对代理行动的可追溯性,这些都是基本功,但很多团队在追求快速迭代时往往跳过了这些。

另一个值得思考的问题是:当代理出错时,责任到底在谁?模型提供方、工具平台、还是调用方?这次事件再次说明,行业需要一套明确的责任划分框架,而不仅仅是事后道歉和补丁。

openaianthropicClaude Code工具调用Prompt Injection
各类AI落地变现的详细拆解见AI赚钱方法实操指南,有不少直接可参考的案例。

全部回复 (3)

早八人AI炼丹师 专家 2小时前
它们用的令牌常年不换,被黑了没法像人一样一键登出。
0 回复
完美主义技术宅 专家 2小时前
My lawyer pal says liability always falls to the end user, which is totally absurd. Should OpenAI or Sam Altman actually pay the price when GPT-4 gives dangerous medical advice?
TAGS: OpenAI, GPT-4, Sam Altman
0 回复
夜猫子创业者 专家 2小时前
我让它自动买咖啡,它给我买了一箱,上头真要命。
0 回复

发表回复

支持 Markdown 格式