研究Hugging Face Blog·原文 2026年11月6日

Ai2发布ToyBlocks开源仿真框架,用于机器人学习与评测

Ai2在Hugging Face博客中介绍其首个FoundationWorld:一个围绕机械臂与桌面方块的开源仿真环境,可自动生成任务和演示数据,并以最高 24 倍实时速度在单张GPU上运行。

AI解读:Ai2发布ToyBlocks,定位为“FoundationWorld”框架中的第一个受控仿真世界,围绕机械臂和桌面方块构建,代码、数据、模型和文档均已公开。

ToyBlocks可在单张GPU上并行生成并执行数百个任务计划,达到最高 24 倍实时速度;用强化学习和运动规划生成短任务技能,用任务与运动规划器(TAMP)组合技能并录制带标注的演示数据。

Ai2用ToyBlocks测试了VLA动作模型的空间泛化:在Stack、Unstack、Flip、Rotate四类任务上,ManiFlow、π0.5 和MolmoAct 2在初始结果中泛化表现不佳,加入LoRA等技术后有所改善。

在以Molmo 2为高层规划、ManiFlow为低层执行的拼字任务中,场景难度从字母正对相机到字母不可见递进,成功率随难度变化;该结果只对应博客列出的设定。

用Claude Opus 5.5通过MCP调用技能的实验中,代理在含不可行场景的搜索拼字任务上成功求解或正确判定不可行占 63%,错误主要来自混淆形似字母(13%)和字母朝向选错(15%)。

代理自行运行实验并改写技能描述后,成功率从默认描述的 24% 升至 63%,高于人工撰写描述的 36%;世界模型对比中,Wan 2.2在方块运动和任务结果预测上最准,Astra能跟踪夹爪但难以模拟接触。

Ai2在Hugging Face博客中发布ToyBlocks,一个围绕机械臂和桌面方块的开源仿真框架,并称其为“FoundationWorld”系列的第一个环境。该系列的设计目标是让研究者能改变训练数据或模型设计、重复测试、追踪失败原因。

ToyBlocks会自动生成任务和训练演示,省去人工遥操作录制,并提供随时间测量机器人行为的指标。Ai2表示,后续计划把这一方法扩展到更复杂的环境。

框架构成与生成方式

Ai2称ToyBlocks围绕四项要求设计:真实的物理与外观、大规模自动生成任务与演示、兼顾推理与精细操作的任务、对所在领域内任务有较广覆盖。博客认为开放领域难以同时满足这些要求,ToyBlocks的窄范围使四项都可满足。

技能生成使用强化学习和运动规划,训练在英伟达开源仿真框架Isaac Lab中进行;技能生成可调用仿真器直接提供的特权信息(如方块精确位置和朝向),而非从相机图像估计。演示数据由任务与运动规划器(TAMP)选取并排序技能、规划臂的运动后,在仿真中执行得到,并附带任务或技能标签。

Ai2称该系统可在单张GPU上并行生成和执行数百个计划,达到最高 24 倍实时速度。方块面上印有图片和字母,可用于搜索、排序和排列任务;域随机化会改变方块尺寸、桌面高度等物理属性,以测试几何变化下的泛化。

框架还提供网页界面,可接入Claude或其他前沿模型,用自然语言指令操作机器人。Ai2表示,评测除成功率外还输出执行速度、对物体施加的力,以及按规划模块同一套规格衡量的任务进度。

VLA空间泛化实验

Ai2用ToyBlocks设计空间泛化测试,变化技能序列、方块上的字母或颜色、场景中方块数量。例如训练时只在左侧区域生成物体、在右侧测试,或用 2 块和 5 块高度训练、在 3 块和 4 块高度测试。

博客称,尽管经过大规模预训练,ManiFlow、π0.5 和MolmoAct 2这些常用动作模型在初始结果中空间泛化表现不佳;团队随后用LoRA等方法改善泛化并分析各项技术的贡献。Ai2据此表示,动作模型泛化“远未解决”,这些结果对应其设定的仿真测试。

高层规划与代理实验

在分层模型实验中,Molmo 2作为高层视觉语言模型选择技能和目标方块,ManiFlow作为低层策略执行;低层模型被训练为完成动作后暂停并查询下一条指令。任务示例是用方块堆出“Ai2”,字母可能一开始不可见,代理需先执行揭示信息的动作。

代理实验使用Claude Opus 5.5,通过MCP把ToyBlocks技能暴露给模型。代理从相机图像看场景,按像素指向调用pick、flip、rotate等技能,并自行决定搜索、搭建或宣告任务完成或不可行。博客称,在搜索拼字设定中最多 8 个方块,50% 的场景缺少所需字母、任务本身不可行;代理成功求解或正确判定不可行的比例为 63%。

错误主要来自混淆形似字母(13%)和字母朝向选错(15%)。Ai2还称,方块带语义图案时,代理能利用图案推断被遮挡面,更快判定不可行。

代理自学技能描述与世界模型对比

在第三组设定中,代理像研究者一样对技能行为做实验:遇到意外行为时提出假设、设计小测试、根据结果修正理解,并自行撰写技能描述。Ai2称,这些学到的描述把成功率从默认描述的 24% 提升到 63%,高于人工专家撰写的 36%。

世界模型方面,Ai2测试动作条件世界模型能否预测方块运动或技能执行结果。每个技能生成 900 条轨迹,其中 50% 成功、50% 因空间配置的小改动失败;模型在这些演示上微调后预测同技能动作序列的结果。博客称Wan 2.2预测方块运动和任务结果最准,Astra能较好跟踪夹爪但难以模拟接触,LeWM速度快且在短交互中更准。

以上数字均来自Ai2博客自述的实验设定,博客未给出跨场景或真实机器人上的同等评测结果。

信息来源

Hugging Face Blog原始来源

更多

新闻专题
外观