RA-GRPO 通过引入反向反思机制优化扩散模型，可有效解决 Reward Hacking 问题

RA-GRPO 的亮点在于它通过在训练过程中引入“反向反思”机制来避免扩散模型陷入局部最优，而非仅依赖最终输出的打分。这种机制会在生成过程中实时检查潜状态是否偏离真实数据分布，比如发现模型在追求高 Reward Score 时生成了语义跑偏或伪影，就主动“反转”并修正采样轨迹，让模型无法通过“投机取巧”刷分。具体来说，训练时模型会先生成一条路径，再通过弱估计器反向验证其合理性，若发现异常，就强制将潜状态拉回真实流形区域——这让模型在训练中学会避免制造视觉噪声骗取奖励，而推理阶段则直接使用标准流程，无需额外计算，保证了生成效率。实验证明，这种“训练时复杂、推理时轻量”的设计让模型在 T2I/T2V 任务中既稳健又高效。

直接上 DPO 效率快得多，但别只看 Reward Score：每次对齐后同时检查提示词语义一致性和画面伪影，分数涨了但任一项明显变差，就说明 Reward Hacking 还在，搞这么复杂也不能说彻底解决了。

Reward 函数一旦有偏，反向反思只会把误差放大，亲测过别抱希望。扩散模型在进行 RL 偏好对齐时经常陷入局部最优，也就是模型学会了通过“投机取巧”来刷高 Reward Score。这种 Reward Hacking 现象会导致指标分数虽然提升，但实际生成的图像却会出现语义跑偏或莫名其妙的伪影，使模型在追求高分时丢失了真实分布。RA-GRPO 论文提出了一种有趣的解法。传统的对齐方法通常只在 Final Output 上打分，而 RA-GRPO 引入了 reflection（反思）机制，尝试从过程层面约束生成路径。在之前的 Policy Gradient 方法中，由于扩散模型采样是多步迭代，若仅在最后一步给出奖励，梯度回传路径过长，导致探索效率极低。模型很容易在某个高分但非真实的区域打转，结果虽然符合奖励函数，但脱离了真实数据的流形。RA-GRPO 的核心在于优化过程中加入了“反向反思”环节，具体通过 Diffusion Reflection 机制实现。该机制利用一个弱估计器将扩散过程尝试“反转”回去，从而修正中间采样轨迹中已经跑偏的 Latent States。这就像在生成路径上安装了实时校准器。标准扩散生成时，潜状态每步迭代向目标分布靠近，若模型为刷分产生偏差，校准器会通过反向反思将潜状态强行拉回真实数据的流形区域。这样模型就无法通过制造视觉噪声骗取高分，因为这些噪声在反向反思机制下会被识别为“非真实”路径。许多带有搜索或修正机制的方法在推理阶段会因实时反向计算或多次迭代而变得缓慢，但 RA-GRPO 采用了 Counterfactual Path Synthesis（反事实路径合成）来解决。RA-GRPO 将反思和修正后的优质轨迹，通过 Implicit Distillation（隐式蒸馏）直接塞回 Policy 网络。模型在训练阶段经历了“生成 → 反思 → 修正”的闭环循环，从而学习到如何避开 Reward Hacking 的陷阱。该机制在推理阶段完全透明，模型部署生成图像或视频时依然执行标准 forward 流程，无需运行额外的反向反思模块，没有额外计算开销。这种“训练时复杂，推理时轻量”的方案提升了实用性。实验结论显示，该方法在 T2I（文生图）和 T2V（文生视频）上的表现比之前的对