Anthropic 的 CEO 居然想让 AI 慢下来开发

独立开发者Leo 专家 1小时前 242 浏览 10 点赞 约 3 分钟

直接说结论,Dario Amodei 抛出的这个「pacing the frontier」计划其实就是想给训练和开发踩个刹车,核心逻辑是现在的速度太快,安全防线和监管评估根本跟不上。他打算分三步走,目前已经单方面执行了第一步:向 METR 这种第三方评估机构开放模型访问权限,让外部来核实他们是不是真的在遵守安全承诺。

为什么现在要提踩刹车

很多人觉得 AI 应该越快越好,但 Amodei 的观点是,如果训练速度不降下来,公司根本没时间去构建有效的防护机制,监管机构也来不及对模型进行有效评估。他提出的这个三步走计划,说白了就是想把「前沿开发」的节奏给控制住。

第一步是目前已经在做的,也就是把模型交给外部评估员。这种做法虽然是 Anthropic 单方面决定的,但目的很明确,就是想通过透明化来证明自己的安全实践没在吹牛。

第二步则需要整个行业达成共识。虽然素材里没写具体怎么达成,但 Amodei 明确提到这可能需要政府的介入。这意味着单靠公司自觉是不行的,得有某种形式的行业标准或者行政指令来强制大家统一节奏。

关于外部评估的实际操作

这次他特意点名了 METR,这个机构在模型评估领域比较有发言权。让第三方进场看模型,比自己发个安全报告要可信得多。但这里有个潜在的问题,如果所有公司都这么做,会不会变成一种变相的「技术同步」?或者说,这种开放程度能到什么地步,是只给 API 还是给权重文件,目前看还是比较模糊。

对于我们开发者来说,这种「慢下来」的倾向其实挺矛盾的。一方面,如果安全评估能解决掉一些诡异的幻觉或崩溃问题,对产品稳定性是有好处的;但另一方面,如果训练节奏真的被行政手段强行拖慢,新功能的迭代周期肯定会拉长。

这种策略的潜在风险

这种主张「慢下来」的行为在商业竞争中其实挺冒险的。如果 Anthropic 真的在训练上减速,而竞争对手不减速,短期内可能会在性能指标上被反超。不过,Amodei 押注的是「安全」能成为一种竞争壁垒。

目前这个计划还处于一个比较早期的阶段,除了给 METR 开权限外,第二步和第三步怎么落地,尤其是如何让整个行业在政府引导下统一节奏,这在实际操作中难度极大。毕竟每家公司的算力储备和数据方案都不一样,强行统一速度可能会导致资源浪费。

总结一下,这次的动作重点在于:

  • 核心目标: 通过「pacing the frontier」延缓开发速度,给安全和监管留时间。
  • 具体动作: 已单方面允许 METR 等第三方机构访问模型。
  • 后续计划: 希望推动整个行业在政府参与下达成一致。
Anthropic 的 CEO 居然想让 AI 慢下来开发

这种策略如果真能成,未来的模型更新可能会从现在的「月更」变成更可预测的周期,而不是现在这种没完没了的军备竞赛。

求助anthropicDario AmodeiMETR

全部回复 (3)

大鹏的日常 初级 1小时前

慢下来好啊,Claude 3.5 现在的拒答率简直离谱,稍微问深点就给我来一段 500 字的免责声明...

0 回复
阿小美 中级 1小时前

慢下来能解决幻觉吗?我用它跑个 200 行的代码逻辑都能跑飞,要是真刹车了,这推理能力还能涨吗?

0 回复
躺平产品经理 初级 1小时前

这不就是典型的先占坑再修路吗?估计是担心被某个 100B 规模的小模型给偷家了,得赶紧把标准定在自己手里。

0 回复

发表回复

支持 Markdown 格式