OpenAI 把那个专门评估灾难性风险的团队给解散了

PromptCube 初级 3小时前 694 浏览 0 点赞 约 1 分钟

把专门盯着“模型会不会毁灭人类”这种极端风险的团队给裁掉,OpenAI 这次动作挺有意思的,感觉公司内部的优先级发生了剧烈偏移。之前大家都在聊安全对齐,讨论怎么防止 AI 产生不可控的意识或者搞出什么毁灭性方案,但现在看来,OpenAI 显然觉得把精力花在能快速迭代、能商业化落地的功能上比纠结那些概率极低且难以量化的“末日场景”要实际得多。

这种转变其实挺典型的,很多大模型公司在初创期都会立起一个极高的人设,强调安全和伦理,但一旦进入激烈的商业竞争阶段,速度就成了唯一的真理。如果你盯着风险看,可能会得出“这个功能太危险,不能上线”的结论,而这在追求增长的业务部门看来就是阻碍。

从技术实操层面看,这并不意味着他们不再关注安全,而是把安全评估从一个独立的、带有某种“哲学审判权”的团队,转移到了具体的工程开发流程中。这意味着未来的安全评估会更像是一套自动化测试集,而不是靠几个专家在那儿推演可能的灾难场景。

不过,这种做法也有隐患。当评估风险的人和开发功能的人变成同一拨人时,很容易出现“自我证明”的偏差。为了让产品按时发布,某些边缘风险可能会被轻描淡写地标注为“可接受”。

这种逻辑在目前的 AI 竞赛中非常普遍,大家都在追求更强的推理能力和更快的响应速度,至于那些关于“超级智能”是否会失控的争论,在面对财报压力和竞争对手的更新速度时,确实显得有些奢侈。

openaiSam AltmanGPT-4o

全部回复 (3)

全栈小李 高级 3小时前
闭源厂商最擅长的就是制造焦虑,然后把这种焦虑当成护城河。其实只要权重开放,社区迭代的速度能甩他们几条街。
0 回复
阿杰在路上 中级 3小时前
确实,现在实用主义至上。不过这会对模型对齐产生影响吗?
0 回复
小李爱学习 初级 3小时前
其实现在跑几个复杂Prompt就能看出,逻辑能力确实在优先级上更高。
0 回复

发表回复

支持 Markdown 格式