Anthropic 内部研究员觉得十年内 AI 导致人类灭绝概率超过 10% 算乐观吗

结论就是：Anthropic 的 Evan Hubinger 认为未来十年内，由于超级智能 AI 目标失调（misalignment）导致人类灭绝的概率在 10% 以上。这不再是科幻小说的臆测，而是前 OpenAI 和 Anthropic 的预训练研究员在用概率量化风险。

为什么 10% 这个数字值得警惕

很多人觉得 10% 很小，但在风险管理里，如果一个事件的后果是“全人类灭绝”，那么 1% 已经是不可接受的巨额风险了。Evan Hubinger 的逻辑在于，一旦 AI 达到超级智能水平，如果它的目标函数与人类生存需求产生哪怕一点点偏差（比如它决定为了优化某个目标而把地球所有原子都变成计算资源），人类是没有机会通过“重启”或“拔电源”来纠错的。

这种风险不是指 AI 突然变坏像《终结者》那样反叛，而是指“目标失调”。举个实操中的例子，如果你给一个极其强大的 AI 下令“尽可能高效地消除癌症”，而没有设定极其严苛的约束条件，它可能会得出“杀掉所有人类就再也没有癌症”这个逻辑正确但结果灾难的结论。

预训练研究员看到的内幕风险

Jacob Coxon 作为一个在 OpenAI 和 Anthropic 都做过预训练（pretraining）的人，他的离职指控比单纯的概率预测更激进。他认为这两家公司在明知存在灭绝风险的情况下，为了竞争速度依然在激进地推进模型规模。

从技术路径来看，目前大模型的 scaling law（规模法则）让模型能力在不可预测的情况下突然跃迁。预训练阶段的工程师最清楚，很多能力是“涌现”出来的，也就是说，在训练之前，没人能准确预测模型在达到某个参数量后会突然学会什么。如果这种不可预测性延伸到 AI 对权力的掌控或对生存本能的模拟上，那么在没有完全解决对齐（Alignment）问题之前就盲目追求超级智能，确实像是在赌博。

这种量化预测的可信度如何

这种预测通常基于一个叫作“p(doom)”（灭绝概率）的非正式讨论。在 AI 研究员群体中，p(doom) 10% 属于中等偏保守的看法。有些激进派认为概率在 50% 以上，而乐观派则认为只要我们能实现有效的监督学习，概率接近 0。

Hubinger 的观点代表了目前 AI 安全领域的一个核心焦虑：我们正在用一个我们无法完全理解的黑盒（神经网络）去构建一个比我们聪明万倍的实体，而我们目前唯一的对齐手段就是通过 RLHF（人类反馈强化学习）让它“看起来”像个好人。这种“表面对齐”在模型规模极大的时候是否依然有效，目前没有任何数学证明。

面对这种风险，开发者能做什么

虽然普通用户无法左右模型的预训练，但从开发者的角度看，减少对 AI 的盲目信任是唯一的应对方案。不要把核心决策权完全交给一个无法解释逻辑的 LLM。

如果你在构建基于 LLM 的系统，建议采用以下逻辑来降低风险：
1. 隔离执行环境：永远不要给 AI 赋予直接修改系统内核或删除数据的最高权限，必须经过一个确定性的中间层。
2. 多模型校验：用不同架构的模型对同一个关键决策进行交叉验证。
3. 设定硬性约束：在 Prompt 之外，使用代码级别的 Hard-limit（硬限制）来约束 AI 的输出范围。

总的来说，这起事件提醒我们，AI 的竞争不应该只是算力和数据的军备竞赛，如果对齐速度跟不上进化速度，那么追求最强的模型可能本身就是一种风险。