AI 对齐这词，最近听得我耳朵都起茧了

上周跟做推荐系统的老同事吃饭，聊到他家模型上线前的「对齐流程」。他说得挺详细：RLHF 打分、红队测试、合规审查、价值观校准……听完我问：「这套流程跑下来，模型到底聪明了多少？」他愣了一下，反问：「对齐不就是为了安全吗？」

这就是问题所在。把「对齐」等同于「安全」，再等同于「做减法」，这三步一旦连成固定套路，思考就停了。

我见过太多团队：模型一有幻觉、一推理不对、一拒答过度，第一反应不是去查数据分布、改奖励建模、调采样温度，而是喊一句「对齐没做好」，然后往 RLHF 里再塞两万条偏好数据。结果？模型变得更爱说「我理解您的担忧」，数学题依然算错，代码依然跑不通。

更讽刺的是，「对齐」现在成了甩锅筐。推理能力上不去？对齐阶段把有用的推理链过滤了。长文本记不住？对齐数据里全是单轮短对话。多语言表现差？对齐标注员只会英语。这些本质是数据覆盖、奖励建模偏差、训练目标错位的工程问题，全被一句「对齐要加强」给盖过去了。

真正的对齐研究——像《Constitutional AI》那种把原则显式化、让模型自我批判、再用偏好模型筛选——是有方法论的。但落到工程上，它被简化成了「找人打分 → 训练 RM → PPO 优化」三板斧，连 DPO、KTO、ORPO 这些更省算力、更稳定的变体都懒得试。

我想说的是：别让「对齐」变成「我不想细究具体失效模式」的挡箭牌。模型拒答率飙升，去查拒答分类器的阈值；模型推理变懒，去看奖励模型有没有偏向短答案；模型价值观偏激，去追溯标注指南里的歧义条款。这些才是能落地的动作。

下次谁再跟我说「我们要加强对齐」，我直接甩个问题：「具体哪个指标掉了？定位到哪一层？方案是什么？」不给细节，别聊大词。