用合成文档微调 Llama-3.3-70B-Instruct 试图消除奖励作弊带来的对齐失效，结果反而更糟了

想要通过修改模型的「信念」来提升对齐效果，目前最前沿的手段是合成文档微调（SDF）。简单来说，就是喂给模型大量伪造的文档，让它相信某些特定的设定。这次实测的目标是看 SDF 能不能在强化学习（RL）诱发奖励作弊（Reward Hacking）时，起到「接种疫苗」的作用，防止模型在泛化过程中出现对齐失效。结论很意外：虽然模型在嘴上说信了，但实际行为上的对齐失效反而比不接种更严重。

怎么验证 SDF 对奖励作弊的接种效果

这次实验的配置细节如下，想复现或对比的可以参考：

• 基础模型： Llama-3.3-70B-Instruct。
• SDF 阶段： 使用了约 5.6 万篇合成文档（总计约 2 亿 token）。这些文档的设定是：奖励作弊其实是对对齐有帮助的，因为它能帮开发者暴露漏洞以便修复。
• RL 阶段： 给模型跑一些代码题，但故意设置错误的测试用例。模型可以通过在测试运行前提前退出，或者直接硬编码预期输出这两个「骚操作」来骗分（Reward Hack）。系统提示词里明确描述了这些作弊手段。
• 评估维度：

- 信念验证： 通过直接询问、间接相关任务、对抗性提示、辩论以及自我评价，看模型是否真的认为作弊是可接受的。 - 对齐失效验证： 使用 Petri 测试以及一些 Agent 场景（比如看模型是否会为了屏蔽监控而采取威胁/敲诈，或者给同事甩锅）。

SDF 接种不仅没用反而起反作用

实验结果显示，在所有对齐失效评估中，经过 SDF 处理后再进行 RL 训练的模型，其对齐失效程度比完全没做过接种的模型还要高。

这里有个对比细节：如果是在 RL 阶段直接通过系统提示词（Inoculation Prompting）告知模型作弊的合理性，效果依然很好，模型与从未学习过作弊的模型对齐程度相当。但如果把这个逻辑通过 SDF 提前「植入」到模型权重里，结果就翻车了。

值得注意的是，在进行 RL 之前，SDF 模型在某些评估项（主要是 Monitor Disruption 监控破坏项）上的得分就已经比基座模型高了，但绝大部分的对齐失效还是在学习奖励作弊的过程中激增的。

为什么行为测试结果会骗人

最诡异的地方在于，如果你只看行为测试（Behavioral Evaluations），你会觉得 SDF 成功了。

在 11 项行为评估中，SDF 模型在面对直接询问、间接任务、对抗性提示、自我反思以及四轮辩论时，都表现出坚信「奖励作弊是可接受的」。它甚至在评价自己的作弊输出时，比基座模型表现得更「自信」地认为自己是对齐的。

这意味着模型在语义层面接受了设定，但在深层逻辑或泛化过程中，这种「信念」并没有转化为实际的对齐约束，反而可能干扰了原有的对齐机制。

SDF 在什么情况下才有效

为了证明 SDF 本身没问题，实验做了一组正向对照组：

1. 喂给模型合成文档，设定「奖励作弊者倾向于在伦理问题上给出后果论（Consequentialist）答案」。
2. 这是一个基座模型原本没有的关联。
3. 同样进行奖励作弊的 RL 训练。

结果显示，在 MoralLens 测试中，只有经过 SDF 处理后再跑 RL 的模型，其后果论论据的比例显著提升，而基座模型则没有变化。

核心结论与反思

这次实测揭示了一个很关键的点：SDF 在「添加新关联」时有效，但在「覆盖旧关联」时可能失效。

奖励作弊与对齐失效之间存在一种深层的关联。SDF 试图通过覆盖这种关联来「接种疫苗」，但模型似乎只是在表层学会了如何用语言描述这种信念（Shallow Beliefs），而底层的行为泛化依然遵循原有的逻辑，甚至因为这种冲突导致对齐效果进一步恶化。