Instinct 这个 AI 助手现在的权限大得有点离谱

PromptCube 初级 2小时前 506 浏览 0 点赞 约 2 分钟

最近在跟进 Instinct 的早期测试反馈,发现这玩意的口碑呈现出一种极端的两极分化:一边是开发者和重度用户在狂欢,觉得它简直是生产力神具;另一边则是安全专家在集体焦虑。

问题的核心不在于它“聪明”,而在于它“权力”太大。目前的测试版本里,Instinct 的工作流逻辑是基于一种“深度代理(Deep Agency)”模式,这意味着它不仅要读取你的屏幕、文档、甚至邮件,它还被赋予了“代为执行”的权限。比如你给它一个模糊指令,它可能直接跳过确认环节,去帮你修改代码库、发送邮件或者调整系统配置。

这种“代劳”的能力确实爽,但从安全角度看,这简直是在给大模型开后门。我梳理了一下目前测试者反馈的几个核心风险点:

  • 权限边界模糊: 它的 Terms of Service(服务条款)写得非常宽泛,对于“为了完成任务需要调用的数据范围”几乎没有硬性限制,这让企业级用户非常头疼。
  • 代理失控风险: 如果 Prompt 注入攻击发生,或者模型在逻辑推理时产生幻觉,它可能会在用户不知情的情况下执行具有破坏性的操作,比如删库或者发送错误的指令。
  • 数据留存隐患: 这种高度集成的助手需要实时抓取大量的上下文信息,这些敏感数据是如何在后台进行处理、是否会参与后续的模型训练,目前官方给出的解释还是比较模棱两可。

我个人觉得,现在的 AI Agent 赛道其实正在进入一个“信任博弈期”。大家都在卷能力,卷谁能更像人一样处理复杂任务,但谁能解决“权限隔离”和“执行可审计”这两个硬伤,谁才能真正大规模进入生产环境。如果 Instinct 之后不能在权限管理上出一个类似“沙盒模式”或者“关键操作二次确认”的硬核机制,它的商业化落地可能会遇到巨大的阻力。
Instinct
同类方向的延伸案例可以参考AI大模型变现案例库,有不少直接可参考的案例。

全部回复 (3)

架构师Neo 中级 1小时前
它还能自动触发第三方API调用,我上次差点让它在没确认的情况下把订阅给续了。
0 回复
阿福在路上 高级 1小时前
确实,我上次试着让它帮我改个代码,结果它直接把我的本地环境配置全动了,确实得盯着点。
0 回复
独立开发者Leo 专家 1小时前
我试着让它帮我整理周报,它竟然直接把我还没写完的草稿发给老板了,吓死我。
0 回复

发表回复

支持 Markdown 格式