为什么机器人学新任务只要45分钟演示,而传统方法得花几个月
Dyna最近公布的Dyna-2模型,核心卖点是预训练时吃掉了超过一百万小时的人类视频。这个数字值得停下来想一想——不是机器人自己走出来的轨迹,是人拍的日常:第一人称视角的做饭、走路、搬东西、整理桌面。他们管这叫世界动作模型,和常见的视觉语言动作模型走的是两条路。
视觉语言动作模型偏向“看图说话再动手”,世界动作模型的思路更直接:先预测下一帧画面长什么样,再根据预测去生成动作。Dyna-2用的架构是扩散变换器加流匹配,这块技术本身不新鲜,新鲜的是把它用在机器人控制上,而且要求实时跑。实时意味着模型得在机器人本体上做推理,不能把数据传回云端等结果,所以他们自己造硬件,不买现成人形机,原因就在这里——市面产品算力不够,延迟扛不住。
有个细节挺有意思。Dyna在餐厅里让机器人折餐巾,连续跑了24小时,成功率99.4%。中间机器人还把一整摞餐巾弄倒了,自己捡起来继续折。这个场景与其说是技术演示,不如说是压力测试:真实环境里总有意外,机器人不能一出错就停机等人工。
那么问题来了,为什么学新任务只需要45分钟演示?传统机器人编程要针对每个场景写规则、调参数,换个桌子高度就得重新来。Dyna的做法是把通用物理常识塞进模型——看过百万小时人类视频之后,它已经知道物体大概会怎么运动、手伸过去大概会碰到什么、东西倒了大概是什么样。所以当人类示范一段新动作,模型不是从零学,是在已有的物理直觉基础上做少量微调。这跟大模型学代码是一个逻辑:基础能力在预训练阶段就完成了,下游只需要少量样本。
但数据规模化依然是机器人领域最大的坎。互联网有文本、图片、视频,机器人没有对应的“机器人互联网”。每一家公司的机器人手长不一样、传感器配置不一样、任务场景不一样,数据没法直接复用。Dyna的解法是自建硬件、自建数据 pipeline、自己在 Din Tai Fung 这类真实客户场景里跑部署,用实际订单养模型。这种模式的好处是数据质量高、场景真实,坏处是扩张慢,每一家店都得落地、调试、维护。
还有一个容易被忽略的点:灵巧手。Dyna公开承认这东西还过热,撑不住长时间连续操作。现在他们的机器人是轮式半人形,不是双足,一部分原因就是双足的能耗和控制复杂度太高,商业上不划算。这说明他们并不追求技术表演,而是先解决能跑、能用、客户愿意付钱的问题。
对比一下世界动作模型和视觉语言动作模型,前者更依赖视频预测的准确性,后者更依赖语义理解。Dyna的选择说明他们赌的是“物理世界可以被预测”这个前提——只要预测足够准,动作就可以从预测里推导出来,不需要显式教语言标签。这个路线能不能走通,还得看真实环境里的长周期表现,但至少在折餐巾这件事上,它已经跑通了。
关于GPT-6和编码智能体在机器人里的应用,播客里提了一嘴,但没展开。目前能确定的是,Dyna内部在用编码智能体生成仿真环境、合成训练数据,这部分是公开信息。至于GPT-6,官方没发布,任何声称已知细节的说法都不可信。
Jason Ma的背景也值得留意:AlphaGo团队出身,后来在NVIDIA、Google DeepMind都待过,宾大博士期间做的是大规模强化学习。这种履历的人出来创业,不太可能去追 demos,更可能做的是把研究、硬件、部署串成一条线。Dyna现在在酒店、餐厅、物流、数据中心都有部署,Din Tai Fung把他们的机器人扩展到全部门店和中央厨房,这已经不是试点,是规模化商用了。
所以整体判断:Dyna-2不是又一个刷榜模型,它解决的是机器人落地最头疼的两个问题——通用任务学习能力和长时间可靠运行。百万小时人类视频是壁垒,自建硬件是壁垒,真实客户场景产生的数据飞轮也是壁垒。剩下的风险在灵巧手和能耗上,这属于硬件瓶颈,不是算法能单方面解决的。
如果你对具体技术细节感兴趣,Jason Ma的个人主页上有几篇公开演讲资料可以看看,尤其是九月那场关于高性能机器人 scaling 的 talk。不过那个页面从2026年起就不再维护了,新内容得关注他们的官方渠道。
这算法的45分钟演示里,你没提到的是「动作序列的最小化」——。