Runway以Apache 2.0许可开放Praxis-1机器人模型权重与源码
Runway将 9 月底仅向部分合作伙伴开放的机器人模型Praxis-1公开,权重和源代码采用允许商用的Apache 2.0许可;公司自测显示其在Nvidia RoboLab-120榜单的World Action Model类别中居首,但成绩尚未经独立验证。
AI解读:Praxis-1输入摄像头图像、文本指令和机器人位置信息,预测环境将如何变化并据此计算机器人动作,随新画面持续调整控制。它基于视频模型,先学习物体运动,再用人类动作视频和机器人数据微调。
Runway自测中,Praxis-1在Nvidia RoboLab-120仿真榜单取得 46.2% 成功率,高于同为World Action Model的FLUX 3 Action的 42.9%,在该类别居首,但总榜第五。全部测试由Runway自行完成,未获独立验证。
适配仍需机器人专用数据:Runway报告称用约 277 小时DROID公开数据适配Franka机械臂,双臂机器人用了 1400 至 2600 小时训练材料。视频预训练是否整体减少机器人数据需求,来源称仍是开放问题。
Runway在真实Franka机械臂上测试 10 项任务、每项 10 次尝试,Praxis-1成功 88 次,FLUX 3 Action为 80 次。在未见过的机器人平台上用约 95 小时数据微调后,仿真测试平均成功率 80%,Google原版RT-1在同一基准为 52.4%。
限制包括:基础模型需额外训练才能用于新机器人系统;标准版需 80GB显存GPU,压缩版按Runway估算可放入 32GB显存的RTX 5090,但GitHub文档称实际峰值显存尚未测量;模型会混淆相似物体、对模糊指令处理不佳,长任务需拆成单步。
Runway公开了机器人控制模型Praxis-1的模型权重和源代码,采用允许商业使用的Apache 2.0许可。该模型 9 月底首次发布时只向部分合作伙伴开放,此次同时发布了带新性能测试的研究报告。
开发者需在Hugging Face注册并同意访问条款后下载,代码托管在GitHub。Runway称已提供针对不同机器人预适配的版本,基础模型用于新机器人系统前仍需额外训练。
模型如何从视频走向机器人动作
Praxis-1接收摄像头图像、文本指令和机器人位置信息,预测环境将如何变化,并据此计算对应的机器人动作;随着新画面输入,模型持续调整控制。Runway将其称为World Action Model。
该模型建立在一个从普通视频中学习物体如何运动和交互的视频模型之上,随后用人类动作视频和机器人数据微调。Runway称这一路线可能减少对昂贵机器人专用数据集的依赖。
自测成绩与适用边界
在Nvidia的RoboLab-120仿真榜单上,Praxis-1成功率为 46.2%,高于同为World Action Model的FLUX 3 Action的 42.9%,在该类别居首;总榜排第五,落后于两个AI agent和两个不同架构的机器人模型。Runway自行完成了全部测试,结果尚未经独立验证。
Runway在真实Franka机械臂上比较了两者:10 项任务各尝试 10 次,例如把香蕉放到盘子上、关上抽屉,Praxis-1成功 88 次,FLUX 3 Action为 80 次。
适配特定机器人仍需专用数据。Runway报告称,为适配Franka机械臂使用了公开DROID数据集中约 277 小时的记录;双臂机器人用了 1400 至 2600 小时训练材料。来源指出,视频预训练是否真能整体减少机器人数据需求,仍是开放问题。
在未见过的机器人平台上,Runway用约 95 小时机器人数据微调后,模型在仿真测试中平均成功率为 80%,任务包括抓取易拉罐、开关抽屉和把苹果放入抽屉;Google原版RT-1在同一基准上为 52.4%。
硬件要求与已知缺陷
Runway称标准版模型需要 80GB显存的GPU。按公司的显存估算,压缩版可放入 32GB显存的RTX 5090,但GitHub文档称实际峰值显存占用尚未测量。
研究报告列出的局限包括:模型有时会混淆外观相似的物体,对模糊指令处理不佳;执行较长任务时,需要把每个步骤明确写出,因为Praxis-1目前还不能可靠地自行规划复杂动作序列。Runway将其定位为快速执行机器人动作的系统,未来可能与负责把复杂任务拆解为单步的通用AI模型配合使用。