World Labs 借仿真扩充数据，试图打破机器人 Sim-to-Real 泛化僵局

机器人学习长期受制于数据采集效率，这也成为商业化落地的核心障碍。假设模型要学会一个简单抓取动作的泛化能力，必须在物理世界中实操一万次Such训练成本在商业逻辑上几乎无法承受。面对这一难题，李飞飞创办的 World Labs 提出了一套相当“暴力”的方案：告别物理世界中反复进行的实验，转而借助高性能仿真引擎，把一个真实机器人任务瞬间扩展为数千个处于控制之下的变体。

如何解决机器人训练中的数据匮乏？

这套方法要解决的，正是机器人训练中的“数据匮乏”。传统训练高度依赖专家演示（Expert Demonstration），但这类样本量极小，模型很容易陷入过拟合。实际测试中，这种过拟合表现得非常明显：机器人可能在一个特定环境中运行良好，可只要背景稍有变化，或者物体位置移动 2 厘米，整个模型就会失效。World Labs 的做法，是将物理世界中的单次记录作为“种子数据”，再在虚拟空间里随机改变初始位置、物体材质、光照条件以及各种干扰项。

这样一来，“拿起杯子”这样一个简单动作，也能在仿真引擎中迅速扩展为数千种不同场景。杯子的颜色实时变化，桌面的摩擦力系数不断波动，光线则从顶光切换为侧光。模型借助强化学习在海量变体中快速迭代策略，把各种可能的边缘情况（Edge Cases）都在模拟器里跑上一遍。机器人因此不必在现实中反复碰壁或摔碎杯子，训练效率与容错率也得到大幅提升。

仿真扩充能否提升模型的泛化能力？

更具说服力的是它在泛化能力上的实际结果。根据披露的数据，经过仿真扩充训练后，模型在五个完全不同的机器人硬件平台上分别运行了一小时，全程不需要人工干预。这个结果之所以关键，是因为不同平台的电机响应速度、关节自由度（DoF）和传感器精度存在明显差异。模型如果能在跨平台运行中保持稳定一小时，就说明 Sim-to-Real，也就是从仿真到现实的鸿沟，正在被迅速缩小。它学到的并非某条动作轨迹的简单记忆，而是更底层的物理逻辑。

从技术工作流来看，整个闭环可以分为四个标准阶段。第一个阶段是在物理世界中采集单一样本，记录一个基准动作作为参照；第二个阶段进入仿真多样化生成，由引擎产生数千组训练样本；第三个阶段是在虚拟环境中开展闭环训练，让控制器从海量变体中寻找最优解；第四个阶段则是把训练完成的权重直接部署到真实硬件上进行验证。

仿真环境能否应对真实场景的随机性？

不过，这条路径仍然面临挑战。受控仿真环境中的数据即便表现很好，真实居家场景的随机性依然远超想象。操作过程中，如果杯子意外被推倒，或者环境光线突然剧烈闪烁，模型能否在毫秒级时间内作出实时反应，仍取决于仿真引擎模拟物理规律的精度。仿真环境如果无法覆盖 100% 的物理真实性，那么在虚拟世界里跑一万次，也抵不过在现实中经历一次真正的意外。但通过算法规模化扩充数据，确实大幅缩短了机器人从“实验室 Demo”走向“实用工具”的进化周期。