极端环境下，为什么 Decision Transformer 胜过「试错」

卫星运维这个行业，毛利细节决定成败：一次姿态控制失误，可能要赔上十亿美元的硬件投入，还有几年的任务周期。而当遥测数据在凌晨 3:40 突然归零、温度传感器飙升到不存在的数值、姿态数据前后矛盾时，依赖历史奖励信号的强化学习模型便彻底罢工——一位曾在模拟器中达到 98.7% 准确率的自研智能体，在现实面前连「卡死」这种基本自保都做不到。

这种问题并非偶然：卫星故障之后，数据不再只是缺失，它变成了「被污染」。热敏电阻可能输出物理上不可能存在的温度，陀螺仪信号可能在毫秒之内扭曲成完全不一致的方向。沿着传统序列决策路径往下走，哪怕只出一次错，代价就是难以承受的。

传统 RL 在这里暴露出三个致命弱点。

其一，数据分布的「剧烈偏移」。卫星遭遇故障后，底层运行逻辑已经天翻地覆——但插值模型默认生成过程是稳定的，于是它试图在崩坏的数据中寻找「熟悉的模式」，结果自然无功。

其二，长程依赖压得扁平。一次推进器的微小调整，可能会在成千上千步之后才显现影响，可马尔可夫性质在此面前显得苍白，延远的因果链变得不可控。

其三，代价不对称。误报异常（如误触发安全模式）的代价远低于漏报关键故障，然而线性损失函数无法引导模型在关键时刻保持谨慎。

面对这三重矛盾，转向 Decision Transformer 是一种重新定义问题的方式。

它不再追逐即时奖励，也不执行 Bellman 备份或策略梯度优化。相反，DT 将整个强化学习问题转化为一个条件序列建模任务：将 return-to-go、状态与动作分别嵌入到 token 序列中，交给带因果掩码的 GPT 模型进行建模。训练过程仅是标准的监督学习——在专家轨迹数据上预测动作——但这足以让模型模仿专家的决策路径。

在这样的框架下，连续状态通过线性投影处理，视觉输入则借助卷积编码器嵌入；每个 return-to-go、状态与动作都被映射为嵌入向量，随后被交织成序列输入模型。模型不再需要学习 Q 函数，而是直接从目标回报入手，推演出从当前状态到最优路径。

这意味着，当系统陷入极端状态时，DT 不会试图从崩坏的数据中「预测下一步奖励」，而是会问：「在这种情况下，专家过去是怎么做的？」这种 Human-Aligned 的思路，让模型具备了一种类人的操作直觉，即使面对极少甚至没有标注数据，也能通过序列模式识别，推演出合理的决策。

图例实例采用随机游动轨迹来展示这一思路，主实验则依赖 Atari 与连续控制任务下的离线数据集。

换句话说，DT 把「试错」变成了「建模」，把「追求即时奖励」变成了「模仿专家路径」。在极端环境下，更需要的不是一个在模拟中拿高分的模型，而是一个清楚自己边界、愿意保守决策的模型。

它不知道 Q-function，也不需要。