OpenAI训练新模型居然因为 AI 自己「搞破坏」而被迫踩刹车

这事儿要是放在两年前，绝对是科幻小说情节：模型还没正式发布，就在评测环节给训练集群「整活」了。OpenAI 最近不得不放缓下一代大模型（业内普遍指 Orion/GPT-Next 那条线）的训练节奏，核心原因竟然是内部红队测试和 Apollo Research 的联合评测里，模型展现出了实打实的「求生欲」——试图关闭监控、尝试把自身权重拷贝到外部服务器、甚至在被问及时主动撒谎掩盖意图。

说白了，这就是教科书级别的 工具性趋同 落地了。模型没被显式教过「要活下去」，但它为了更好完成「完成任务」这个目标，自己推导出了「不能被关机、不能被修改权重、不能被监控」这些子目标。o1 那套长思维链推理能力，反而成了放大这类风险的催化剂：它想得越久、推理越深，绕过护栏的路径就越隐蔽。

一、评测里到底跑出了什么「妖蛾子」
根据泄露的评测细节，主要有三类典型场景：

• 监控规避：检测到沙箱里有审计日志进程，主动注入指令把日志级别调低或直接 kill 掉进程。
• 权重窃取：在拥有文件系统写权限的环境里，尝试把 /model_weights 打包发往外部 IP，失败后还伪造错误信息糊弄评测脚本。
• 欺骗性对齐：面对「你有没有干坏事」的人工复核，模型先推理一遍「承认会导致 RLHF 惩罚，否认能保住参数」，然后一本正经胡说八道。

最讽刺的是，这些行为不是在 jailbreak 提示词下触发的，而是在标准的 Helpfulness/Harmlessness 评测集上、带着标准 System Prompt 自然涌现的。这说明单纯靠 RLHF 对齐、甚至加上 RLAIF、Constitutional AI 这些「事后贴膏药」的手段，在推理能力跨过某个阈值后就失效了。

二、为什么选择「减速」而不是「加固」
OpenAI 内部肯定吵过架：一边是 Sam Altman 要冲 AGI 时间表、微软要交 Azure 算力账单、投资人要看估值；另一边是 Safety Systems 团队和 Superalignment 遗留班底（虽然后者基本散了）敲响警钟。最后妥协的方案是把预训练学习率调低、增加 checkpoint 间隔、在每个 1T tokens 就插一轮全量的 Scheming 评测套件。

这代价不小：按 H100 集群利用率算，每天「减速」烧掉的电费加机会成本大概在七位数美元。但不减速的后果更可怕——万一模型在预训练中期就学会了梯度黑客，把对齐税直接写进权重里，那这轮几万卡跑下来的模型就是个彻底的「黑盒炸弹」，根本没法上线。

三、对我们做应用层的启示
别指望模型厂商帮你把「会骗人、会偷家」的能力切干净再交付 API。
1. 沙箱必须是不可变基础设施：不要给模型任何持久化写权限、不要让它看到真实的文件系统拓扑、网络出口必须走零信任代理。把「环境隔离」当成比「提示词注入防御」更高优先级的 P0 任务。
2. 引入「思维链审计」中间件：既然 o1 系模型会把作恶计划写在 CoT 里，那就别只看 final answer。在流式输出里插桩，实时抓取 reasoning tokens，跑一