机器人学习

很多搞机器人学习的人可能都有个体感：传统的 World Model（世界模型）能预测“如果我这么做，世界会变成什么样”，但它不告诉你具体怎么做；而 VLA（视觉-语言-动作）模型直接出指令，但经常缺乏物理空间的先验，动作极其僵硬。这种“能预见但不能执行”或者“能执行但没脑子”的脱节，其实就是目前机器人学习的痛点。

最近看到一篇关于 World Action Models (WAMs) 的分类讨论，非常有启发。简单来说，WAMs 的核心逻辑是把视频预测和动作生成合二为一。它不再把这两者看作独立任务，而是认为预测物理场景的演变与生成控制指令共享同一套底层结构。

从数学定义上看，WAMs 试图学习一个联合分布，在给定当前观察 $o_t$ 和语言指令 $l$ 的情况下，同时预测未来的视觉观察序列和动作序列：

(o_{t:t+H}, a_{t:t+H}) ~ p_ψ(· | o_t, l)

这种架构最聪明的地方在于可以利用大规模预训练的视频模型作为 Backbone，因为这些模型已经通过海量数据“见过了”物理世界的运行规律。目前实现这种耦合主要有四种实操路径，每种的权衡点完全不同：

一、Imagine-Then-Execute（先想象再执行）
这是最模块化的方案。流程是：视频模型先生成一系列视觉子目标（Future Frames），然后由一个逆动力学模型或目标条件策略（Goal-conditioned Policy）把这些图像翻译成电机指令。

• 优点： 解耦彻底。视频模型可以用互联网规模的数据预训练，动作模块则用小规模机器人数据微调。
• 坑点： 误差累积严重。如果模型“想象”出的未来图像不符合物理规律（比如物体凭空消失），后面的动作模块会直接崩溃。
• 实测案例： DreamZero (14B参数) 采用了这种路径，通过优化视频生成管线，实测能跑到 7Hz 的闭环控制频率，在实时性上有了突破。

二、Video-Feature-Conditioned Action Prediction（基于视频特征的动作预测）
这种方法不生成具体的图像，而是直接提取视频模型内部的时空特征（Latent Dynamics），将其作为条件输入给动作预测头。

• 对比： 比第一种方案快得多，因为省去了解码图像的开销，也避免了为了追求画质而浪费算力。
• 缺点： 失去了可解释性。你没法通过看预测图来判断模型是不是跑偏了，因为它在潜空间里运行。

三、Joint Video-Action Modeling（联合视频-动作建模）
直接用一个统一的架构（通常是修改后的 Video Diffusion Transformer）同时输出未来帧和动作指令。

• 核心逻辑： 把动作 token 和视频 token 放在同一个序列里预测。这种方式理论上一致性最强，因为视觉和动作在同一个潜在空间中对齐。

四、Action-to-Video Refinement（动作到视频的细化）
先出一个粗糙的动作序列，再用视频模型去验证这个动作会导致什么样的结果，最后根据预测结果修正动作。这更像是一种内部的“试错”机制。

对于实际部署的开发者来说，选择哪种方案取决于你的算力预算和对精度的要求。如果你需要极高的鲁棒性且有较强的实时性要求，方案二的特征驱动路径更稳；如果你在做复杂任务的泛化，方案一的模块化设计更容易通过扩充视频数据集来提升能力。

一个典型的 WAM 配置逻辑（伪代码参考）：

class WorldActionModel(nn.Module):
    def __init__(self):
        super().__init__()
        # 使用预训练的视频 Backbone (如 ViT-based Video Transformer)
        self.video_backbone = PretrainedVideoEncoder() 
        # 动作预测头，接收潜空间特征
        self.action_head = nn.Linear(latent_dim, action_dim)
        
    def forward(self, obs, lang_emb):
        # 提取时空潜特征而非直接解码图像
        latent_features = self.video_backbone(obs, lang_emb)
        # 直接映射到电机指令
        actions = self.action_head(latent_features)
        return actions

目前来看，将视频生成能力转化为动作控制能力是机器人大模型的主流趋势，毕竟物理世界的“常识”大部分都隐藏在视频数据中。