英伟达发布GR00T 2:从人类视频迁移动作,实验室任务成功率10%至80%
英伟达在一份研究报告中介绍GR00T 2,称其通过预测未来画面把人类手部动作迁移到机械臂,减少对新任务遥操作的依赖;实验室测试中不同任务成功率在10%至80%之间,触觉传感器数据尚未接入。
AI解读:英伟达发布机器人基础模型GR00T 2,目标是用人类演示视频替代逐任务遥操作。模型同时预测下一步动作和短时未来视频,英伟达称其为“世界-动作模型”,不再沿用前代GR00T 1的视觉-语言-动作路线。
训练使用超过1000块GB300芯片组成的集群,视频素材约40万小时,内容为佩戴头戴相机的人执行各类任务。教机器人新任务时,研究人员称人用数据手套、专用手部夹爪或手指外骨骼演示即可,训练时再结合目标机器人的通用运动数据。
实验室中,五指手机器人借此点燃火柴、切香蕉、把包裹抛上传送带,未针对这些任务做遥操作;成功率因任务而异,为10%至80%。仅凭一段人手动作视频,系统还在计算机模拟中学会钉钉子。
在50个少样本已表现较好的任务上,不到3分钟常规训练把成功率从40%提升到95%。长程装配则依赖更高层语言模型拆分步骤、标注抓取点和触发纠错例程;玩具车装配在有纠错模型时至少97%的试验成功,无纠错和额外微调时为100次中成功23次。
面向双足机器人的精简版GR00T 2 Turbo在机器人内置的Jetson Thor上运行,测试中可舀爆米花、清理桌面、用脚下毛巾擦液体,擦液体成功率略低于一半。研究团队指出模型尚不处理直接触觉传感器数据,会漏掉螺丝转了一半等细微错误;语言模型规划让机器人在垃圾分类中平均等待超过7秒,闲置时间约占总时长三分之一。
英伟达在一份关于GR00T 2的研究报告中介绍了一个新的机器人基础模型,目标是用人类视频演示替代逐任务遥操作。英伟达称该模型为“世界-动作模型”(WAM),会同时计算下一步动作和一小段未来视频,例如预测机械臂抓起物体时相机画面应如何变化。
该模型不再沿用前代GR00T 1的视觉-语言-动作路线。英伟达称,视频预测让动作序列能在不同机器人形态之间迁移。
训练数据与使用方式
英伟达称,系统在超过1000块GB300芯片组成的集群上训练,使用约40万小时视频,内容为佩戴头戴相机的人执行多种任务。
研究人员称,教机器人新任务时,人用数据手套、专用手部夹爪或手指外骨骼演示步骤即可。训练时把这些记录与目标机器人的通用运动数据结合,模型会在视频预测中生成机械臂而非人手,并据此导出控制指令。
实验室结果与边界
在实验室测试中,五指手机器人以这种方式点燃火柴、切香蕉、把包裹抛上传送带,未针对这些任务接受遥操作。成功率随任务不同,在10%至80%之间。
仅凭一段人手动作视频,系统还在计算机模拟中学会钉钉子。在50个少样本后已表现较好的选定任务上,不到3分钟常规训练把成功率从40%提升到95%。
对于较长装配工作,英伟达将GR00T 2与更高层语言模型配合:GR00T 2负责抓取动作,语言模型拆分步骤、在相机画面中给抓取点标色,并在零件掉落时启动辅助例程。研究人员把玩具车散件无序放在桌上,组合系统在至少97%的试验中完成装配;没有纠错语言模型和额外微调时,100次尝试成功23次。
插网线、插充电器等精细任务则通过在真实设备上反复试错训练。
Turbo版本与已知限制
英伟达为双足机器人开发了精简版GR00T 2 Turbo,处理图像细节更少,直接运行在人形机器人的Jetson Thor车载计算机上。测试中机器人舀爆米花、清理桌面、用脚下毛巾擦液体,擦液体任务成功率略低于一半。
研究团队列出可靠落地前的障碍:模型尚不处理直接触觉传感器数据,有时漏掉螺丝转了一半等细微错误;更高层语言模型明显拖慢速度,垃圾分类时机器人平均等待规划模型下一次计算超过7秒,闲置时间约占总时长三分之一。