首页 > 技术

从切香蕉到划火柴,英伟达GR00T 2如何学习精细操作?

2026-11-20 17:51:19      西盟科技资讯   


  机器人基础模型的研究,又多了一组新的实验结果。

  英伟达研究团队推出的GR00T 2,是面向机器人操作与跨本体学习的世界-动作模型(WAM),目前主要用于前沿技术探索、后训练实验验证以及构建具身智能开源生态。沿着这些数据的流向,可以看到GR00T 2项目采用了更多来源的数据,涵盖人类视频wan、UMI夹爪,以及特别的DexUMI这类携带触觉信息的数据源。但一个关键的盲点在于:尽管DexUMI采集了触觉,但触觉仅作为后训练阶段的离线监督存在 ——GR00T 2使用了触觉采集的数据,但执行模型没有实时触觉输入。

  从切香蕉、拧瓶盖到划火柴,公开演示展示了它在精细操作上的进展。负责采集部分人类示范的GEAR DexUMI,则在五个指尖记录法向力和剪切力,让操作数据进一步包含人类怎样施力的信息。

  这两项事实同时成立。示范中的受力信息已经参与动作学习,执行现场的触觉却尚未成为模型新的观察。它们分别关系到机器人如何学习用力,以及接触条件改变后,能够依据什么调整用力。理解这一区别,需要把数据采集、模型训练和实际执行三个环节拆开来看。

  一、触觉数据进入训练,成为动作学习的依据

  GEAR DexUMI是一套可穿戴手部外骨骼。人戴着它完成抓握、切割和旋拧,设备同步记录画面、手指关节运动,以及五个指尖受到的法向力和剪切力。

  这些信息补充了动作轨迹难以完整描述的接触过程。同样是拧瓶盖,画面与手指轨迹可能非常接近,手指却可能只是搭在瓶盖上,也可能已经夹紧;瓶盖可能跟随手指转动,也可能一直打滑。动作看起来相似,受力状态并不相同。

  GR00T 2确实使用了这部分信息。在白皮书介绍的DexUMI/XHAND1 Pro-U后训练方案中,指尖力被映射到机器人手的关节空间,策略动作中加入预测的手指关节力矩。执行系统再根据这些预测量计算刚度和虚拟位置目标,用于控制手指的运动与柔顺程度。

  也就是说,人类示范中的受力信息经过处理,成为机器人学习怎样运动、怎样施力的一部分。这构成了“使用触觉采集数据”的直接证据。这里的“预测关节力矩”属于模型的动作表示,不等于模型直接向电机发送力矩指令。模型输出什么,与底层控制系统如何执行,是两个不同环节。

  更关键的区别在于:预测应该施加的力,不等于读取执行时实际受到的力。

  GR00T 2在执行阶段读取多相机历史画面、语言指令和机器人本体状态。白皮书结论明确说明,当前模型不以触觉作为输入,并将力与触觉的接入方式、控制频率列为开放问题。

  GR00T 2在执行阶段读取多相机历史画面、语言指令和机器人本体状态。白皮书在结论部分明确写道:

  “GR00T 2 handles force only as an output”

  并进一步说明:

  “It does not take touch as input.”

  即当前模型将力作为输出处理,不以触觉作为输入。

  至此,数据路径已经清楚:示范中的触觉被用于学习动作,执行中的触觉没有进入模型的实时观察。“本体状态”也不能被理解为机器人身上所有传感器信息的总称。它包含哪些变量,需要看具体输入定义,不能据此把指尖触觉自动算入模型输入。

  二、学过怎样用力,还需要判断此刻是否适用

  这个区别,在接触条件变化时才会充分显现。示范中的瓶盖可能容易旋开,实际瓶盖却更紧;杯壁可能沾水,包装可能更容易形变,待插入的零件也可能存在轻微偏斜。任务目标没有变,合适的动作却可能已经不同。

  打滑时可能需要增加夹持,挤压变形时需要减力,插接卡住时则可能需要撤回并调整角度。原本成功的用力方式,换一种接触条件,就可能不再适用。

  视觉能够观察物体是否移动,本体状态也能够提供关节运动等线索。GR00T 2可以利用这些信息调整动作。实时触觉所补充的,是接触位置、局部受力、形变及其变化过程。

  对于首先发生在接触面上的异常,这些信息有机会在明显位移出现之前提供判断依据。物体开始滑动时,画面中可能还没有明显变化;零件刚刚接触偏斜时,机械臂也未必已经偏离预定轨迹。

  如果两种需要不同动作的接触状态,在现有观察中暂时难以区分,模型就需要依靠间接线索和已有经验作出判断。更多成功示范能够丰富经验,却不能保证每次执行都能及时辨认现场的差别。

  缺少实时触觉输入所留下的能力缺口,是模型无法直接利用指尖触觉,核验预期接触与实际接触之间的偏差,并据此修正当前动作。

  白皮书中的一组失败案例,也呈现了物理状态验证的难度。在另一组结合上层智能体的长流程装配评测中,系统进行了300次测试,完成292次。8次失败中,有3次是螺丝尚未完全拧入,但GR00T 2和上层智能体都判断该步骤已经完成。作者指出,这些情况下的视觉差异较为细微。

  这组结果既展示了长流程任务的完成能力,也留下了一个具体问题:系统怎样区分“动作已经执行”与“物理结果已经达标”。机械臂到达目标位置,不代表零件已经插正;工具完成旋转,也不自动构成螺丝已经拧紧的充分证据。对于装配、旋拧和插拔任务,识别这些差别,本身就是操作能力的一部分。

  这组评测并未单独检验触觉的作用,但为后续实验提供了具体目标:增加接触信息,能否减少细微状态误判,能否在错误积累之前触发修正。

  三、接入触觉之前,要判断模型能获得什么信息

  讨论触觉能否进入模型,还要先弄清楚传感器到底记录了什么。同样被称为触觉数据,有的只能判断是否发生接触,有的输出整体受力,有的记录接触面的图像与形变,还有的能够区分不同位置的法向力、剪切力和力矩。

  这些信息支持的任务并不相同。两次抓取的总夹持力可能接近,一次接触均匀,另一次只有物体边缘顶住。只看总数很难区分,保留空间分布才可能发现物体已经夹偏。法向力相同,也不代表接触状态相同。法向力描述物体被压得多紧,剪切力反映沿接触面的拖拽与摩擦变化。擦拭、旋拧、插拔和滑移识别,都可能依赖方向信息。

  近期研究已经给出几条不同路径。

  LingBot-Touch尝试将压阻式、磁传感和视触觉信号映射到共享表征空间,并保留时间、手指与空间位置标识。它探索的是如何让异构触觉数据被统一利用,而非要求所有传感器提供完全相同的测量维度。

  TAP-VLA提取局部剪切形变,再将其叠加到视觉输入;Tactile-VLA则采集法向力和剪切力,利用受力信息辅助动作调整。

  这些方案都在处理触觉,却不能直接画等号。标记点位移反映材料形变,经过标定的力传感器测量受力,两者对应不同的物理量。判断一套触觉数据,需要连续看清三个环节:传感器原始记录了什么,信号处理估计出了什么,最终交给模型的又是什么。

  编码能够提取已有信号中的规律,却无法保证补回传感器从未记录的信息。如果两种需要采取不同动作的接触状态,在传感器输出中几乎没有区别,模型仍然需要依靠其他观察和经验继续推断。因此,增加触觉输入的价值,最终取决于它是否提供了当前决策所缺少的信息。

  四、数据质量,决定触觉能否真正被模型使用

  测量维度丰富,还不够。TaF-VLA的消融实验显示,向力监督加入噪声,或者减少触觉历史信息,都会影响其测试任务表现。模型需要的不只是某个时刻的一次数值,还包括受力随时间怎样变化。

  触觉数据还要与画面、动作和机器人状态准确对应。某一次受力变化发生在哪个时刻、对应哪一帧画面、哪根手指和哪一步动作,必须能够对得上。

  同步也不只是把所有信号调整到相同频率。触觉变化可能发生在两帧图像之间,简单降采样可能丢掉滑移或碰撞的短暂特征。保留多长的触觉历史、以什么频率送入模型、由高层策略还是底层控制负责处理,都要根据任务重新设计。

  这也是英伟达在白皮书中留下的开放问题:怎样把力与触觉加入模型输入,又应该采用怎样的控制频率。

  五、下一步,验证触觉能否改变接触变化后的结果

  GR00T 2已经把指尖受力带进数据采集和特定后训练方案。它证明人类操作中的力信息可以转化为机器人学习动作的一部分。

  实时触觉仍然需要另一组实验验证。改变瓶盖松紧、物体摩擦、材料刚度和零件位置,观察机器人能否在视觉出现明显失败之前,根据接触变化调整动作;再移除触觉输入,比较任务成功率、接触力、恢复能力和人工干预率。

  保留空间分布改善了哪些夹偏?加入剪切信息帮助识别了哪些滑移?更长的触觉历史是否带来了更及时的修正?这些收益又增加了多少计算、标定和硬件成本?这些问题,比“机器人有没有安装触觉传感器”更接近技术的实际进展。

  GR00T 2展示了从人类示范中学习精细操作的潜力,也标出了当前触觉能力的位置:受力经验已经进入动作学习,现场触觉尚未作为实时观察回到模型。从学会示范中的用力方式,到接触条件改变后仍能正确调整,是精细操作需要继续完成的一步。

  五个指尖能够记录多少信息,说明数据采集的能力。执行时,这些信息能否及时改变下一步动作,才是触觉闭环的直接证据。

相关阅读

    无相关信息