观热点：机器人看人类视频，究竟能学到哪一步？

2026-10-14 13:09:32来源：钛媒体APP

10月10日，星动纪元开放了VPP2的两套视频模型权重。

【资料图】

VPP2把机器人学习一项操作的过程分成三段：先预测任务接下来会怎样发展，再把较长的过程压缩成视觉规划，最后学习机器人动作。这次开放的是前两段。

把时间往前推两个月，类似围绕人类视频的研究和投入已经接连出现。

8月，Dyna Robotics公布了不同规模人类视频预训练对真实机器人任务的影响；Figure公开了大规模第一视角视频采集系统。9月，Skild AI尝试用一段人类视频向机器人说明新任务，Dyna又在处理同一种经验怎样跨越不同的机器人身体。

几家公司选择了不同的技术入口，却把人类视频放进了同一条训练链：扩大预训练规模，提示机器人要做什么，预测操作过程，再把视觉经验接到动作上。

这些动作共同指向一项行业变化。数量更大的人类视频开始承担任务理解和世界变化的学习，稀缺的机器人数据更集中地解决身体控制。

如果这种分工能够成立，机器人学习新动作的规模，就不必完全取决于为每一副身体、每一项任务重新采集示范。

这种分工能不能换来机器人在真实任务中更好的表现，成为下一步要回答的问题。

一百万小时之后，钥匙转动了

Dyna-2用一项转钥匙实验做了规模对照。

研究者准备了四组模型，让它们接受相同的机器人任务训练。此前，四组模型分别用1,000小时、1万小时、10万小时和100万小时的人类第一视角视频做过预训练。

转动锁盒上的钥匙时，前三组都失败了。100万小时这一组测试10次，成功9次。

四组模型后续使用的机器人数据条件相同，每项任务不超过10小时。这使研究者能够比较，在相同的机器人训练之后，预先接触更多人的操作经验，能给结果带来什么变化。

Dyna-2转钥匙是14项真机任务之一，实验中，随着人类视频预训练规模从1000小时增加至100万小时，机器人在相同后训练条件下的表现发生变化。图片来源：Dyna Robotics

开锁是14项真机任务中的一项，它不能划出一条适用于所有任务的“100万小时门槛”，却验证了实验的一个假设：当后续机器人训练相同时，人类视频预训练的规模会改变结果。

真实机器人的示范数据很难像互联网文字那样快速扩大。一次示范需要机器人本体、操作者、场地和任务；此外，记录下来的动作又与这副机器人的关节、夹爪、摄像头和控制方式绑在一起，换一副身体，同一条动作指令很可能失效。

人类视频的优势在于，更容易跨任务收集。画面可以记录手向哪里移动、物体怎样变化、一项操作按照什么顺序推进。从中提取的手部轨迹，还能为动作学习提供监督。不过，要让特定机械臂完成同样的操作，则需要结合机器人示范或控制机制，处理它自己的关节运动与接触约束。

当人类视频成为训练资源，视频本身也开始被重新生产。

Dyna-2使用经过组织和处理的第一视角操作记录，并从中提取手部运动；Figure通过贡献者系统采集操作视频，筛选质量、平衡任务分布并添加文字标注；DreamZero的研究者则围绕特定任务录制短视频。

这些系统都在提高视频与动作的关联，让画面看清手和物体，保留接触过程，并从中提取稳定的运动轨迹。它们与随手下载的网络视频有很大差别。

Dyna-2给两类数据做了明确分工：人类视频负责积累关于手、物体和任务过程的经验，机器人示范负责教会模型怎样控制自己的身体。

那把钥匙给出了一个肯定答案，这种分工可以改变后续机器人训练在真机上的结果。

接下来的关键，是在“任务怎样发生”与“这副机器人怎样动”之间搭桥。

人类视频，能教机器人什么？

近期研究并不是在重复同一种方案。人类视频进入机器人系统后，至少承担三种不同的工作：学习动作会带来什么结果，说明当前任务，以及为动作训练提供经验。

1、学会动作会怎样改变世界

Dyna-2先从人类视频里提取三维手部运动信息。手腕的位姿提供运动轨迹，拇指与食指之间的开合提供抓握信号。模型一边学习预测动作，一边预测后面的画面。

手接下来往哪里移动，是动作。手移动之后，杯子、抽屉或钥匙怎样变化，是动作造成的结果。

在动作标注数据量相同的条件下，同时学习动作和未来画面的模型，在39项机器人任务的离线预测中全部优于只学习动作的模型。研究者随后固定动作标注数据，只增加用于预测未来画面的无标签视频，模型表现继续改善。

这组离线实验给出的结论很直接：即使视频没有机器人关节命令，学习世界在动作之后怎样变化，也能提高模型对动作的预测。Dyna-2执行真机任务时，不需要先生成一段未来视频。

英伟达的DreamZero让未来画面预测直接参与行动。研究者围绕9项此前未见的任务，补充了总共12分钟、没有动作标签的人类第一视角视频。追加训练后，机器人的平均任务进度从38.3%提高到54.3%。

DreamZero研究总览图展示的人类第一视角与双机械臂操作示例。图片来源：DreamZero项目研究总览图

这里衡量的是任务进度。DreamZero此前已经用机器人数据学习画面与动作之间的联系，追加的12分钟人类视频与原有机器人数据一起参与训练。

2、让视频告诉机器人要做什么

清华大学与星动纪元的一项研究，让视频直接告诉机器人现在要完成什么任务。

模型观看人完成任务的视频，再结合机器人面对相同场景的初始画面，生成机器人完成同一任务的过程，并把这种表示接入动作策略。

这种能力建立在两阶段训练之上。论文2026年的修订版显示，模型第一阶段使用超过25万段人类、机器人夹爪和灵巧手示范视频，第二阶段使用约7,000段人类与灵巧手视频，其中包括部分配对示范。实验最终部署在xArm7机械臂与XHand灵巧手上。

新视频负责说明任务、对象和操作过程。此前结合人类与机器人示范完成的训练，以及后续动作策略学习，负责把任务做出来。

3、把视频经验接到机器人动作上

视频可以记录操作过程，机器人关节的控制信号来自机器人数据。τ0-WM和VPP2分别从数据与模型管线入手，连接这两部分。

智元团队参与的τ0-WM使用约27,300小时异构数据，其中3,000小时是人类第一视角视频，其余主要来自真实机器人遥操作和手持式交互设备。

τ0-WM研究中的机器人操作任务，包括工具箱整理、书包收纳、水管连接和羽毛球收纳。

它让不同数据提供不同监督：人类视频监督未来画面，机器人数据同时监督未来画面和可执行动作。关节控制因此由机器人数据提供。

VPP2则把任务过程交给视频模型，把具体控制留给后续动作学习。它要解决的是视频预测与机器人动作怎样交接。

三种工作处在同一条训练链上：人类视频扩大任务经验，机器人数据解决身体控制，动作模型和控制器完成最后的连接。

这也解释了不同论文为什么使用成功率、任务进度和离线预测等不同指标。它们测量的是训练链上的不同位置。

真正的检验从视频开始影响机器人动作时才开始。

视频里的动作，为什么未必做得出来？

DreamZero让未来画面预测参与行动，也留下了一次直接的失败。

机器人需要把面包放进烤箱。模型生成的未来画面里，它先拿起面包，却漏掉了打开烤箱门。实际执行沿着这个顺序发展，机器人拿着面包来到烤箱前，任务卡住了。

DreamZero烤箱任务中的模型预测（左）与真实机器人执行（右），模型预测遗漏了先打开烤箱门的步骤，实际执行也未能完成任务。图片来源：DreamZero论文Figure 16；画面按原图顺序重排。

预测与行动确实联系起来了。只是这一次，机器人沿着错误的计划行动。

视频模型可以直接生成面包已经进入烤箱的画面，机器人却必须先找到把手、接触烤箱门、施加正确方向的力，再为放入面包腾出空间。少掉其中一步，最后那幅画面就不会发生。

这次失败把问题从“未来画面预测得像不像”，推到了“画面里的动作究竟能不能执行”。

同一个问题也是RoboWM-Bench的评测对象。北京大学等机构的研究人员从生成视频中提取运动，把它转换成机器人动作，再放进重建的物理仿真环境运行。视频开始面对接触、碰撞和动作控制。

RoboWM-Bench“放入盘中”任务的部分实例。左侧为模型预测的操作视频，右侧为动作转换后的仿真执行结果，包含成功与失败案例。图片来源：RoboWM-Bench研究团队。

在这套评测中，Wan 2.6生成的机器人操作视频经过动作转换后，关闭抽屉的仿真执行成功率为50%，拾取物体为20%，把物体放进抽屉为0%。每项任务测试了10种初始物体配置。

这些结果把视觉合理与物理可执行之间的差距量化了出来。评测对象是视频模型、动作转换与仿真重建组成的完整流程，因此不能拿来给Dyna-2、DreamZero或VPP2的真机能力排名。

动作从视频进入机器人的身体，还会经过一次转换。即使画面里的运动本身合理，人的动作在适配机器人关节时也可能失真。

Dyna-2.1处理的就是这个具体问题。团队发现，把人的运动直接适配到机器人关节，可能把手从原本接触的物体旁移开。画面里的手还搭在物体上，生成的动作标签已经偏离了接触位置。

新的做法先给出手腕、手肘和胸部等部位在任务空间中的目标运动，再由控制器决定这副机器人怎样协调关节和底盘。

这种做法试图避免动作标签在跨身体转换时偏离原来的接触位置。接下来，控制器还得把这些目标运动变成真实、稳定的接触。

人的操作经验由此可以保留到更接近执行的地方：手向哪里移动、在何处接触物体，都能成为机器人学习的材料。让这些运动适合特定身体，则仍需要机器人训练、控制器和实际执行中的反馈共同完成。

这正是近期行业变化的核心。在传统的任务示范训练中，机器人数据同时承担任务学习和身体控制；现在，多支团队正在尝试把前一部分交给规模更大的人类视频。

这也给产业评价提出了更具体的要求。在相同或更少的机器人数据下，能否提高真机成功率、能否跨身体复用，值得持续检验。与此同时，训练成本、执行效率和长时间运行的稳定性，也关系到这些方法能否用于实际工作。

Dyna-2的钥匙已经证明，视频规模可能改变真机结果。接下来要检验的，是这种变化能否在更多机器人、更多任务和更长的操作过程中反复出现。

关键词：轨迹动作视觉实验机器人控制器新

责任编辑：hnmd003

观热点：机器人看人类视频，究竟能学到哪一步？

相关阅读

精彩推荐

阅读排行

推荐阅读