英伟达扩展Cosmos平台:新增训练工具、仿真检查点与五类数据工厂蓝图
英伟达称Cosmos已在六个开放模型排行榜进入前五,此次为物理AI开发者补充数据整理、模型微调与部署工具;保时捷、ANYbotics、ADNOC等给出了使用案例,相关效果数字均为公司说法。
AI解读:英伟达宣布扩展Cosmos平台,新增训练工具、仿真检查点和Cosmos Data Factory蓝图,目标是让开发者更快构建用于物理AI的世界模型。
Cosmos Data Factory提供五个云原生蓝图,覆盖自动驾驶数据集生成、图像属性增强、事件视频生成、缺陷图像生成和视频数据增强,可通过GitHub、Microsoft Azure、Nebius和CoreWeave获取。
Cosmos Framework将训练、优化和部署工具以agent skills形式扩展到更多开放模型,包括GR00T、Alpamayo、QWEN、Pi0.5及Hugging Face上的兼容模型,并配套Cosmos 3。
英伟达称新版Cosmos 3 NIM微服务在已验证配置下推理速度提升至多 2 倍且无质量损失;Metropolis VSS 3.3蓝图可让团队在同等GPU上监测多 40% 的视频流。
保时捷通过Voxel51在Azure上使用Cosmos Data Factory,英伟达称预计可减少至多 90% 的重复实车测试、缩短至多 85% 的开发周期;这些是预期值,不是已公布的实测结果。
英伟达在博客中宣布扩展Cosmos平台,新增用于训练、评估和部署世界模型的工具,包括Cosmos Data Factory的五类云原生蓝图、Cosmos Framework的agent skills,以及面向仿真的Cosmos 3 Nano模型变体。世界模型被英伟达定义为帮助物理AI系统理解和模拟真实世界的模型。
英伟达称Cosmos平台在六个不同开放模型排行榜上进入前五。此次更新面向需要准备训练数据、适配开放模型并在部署前测试策略的开发者。
数据工厂五类蓝图与首批使用方
Cosmos Data Factory汇总了大规模标注、整理、增强和评估物理AI训练数据的工具。英伟达称,其GPU加速的视频数据集整理方案Cosmos Curator新增了对多模态、多传感器输入和处理模块的支持。五个蓝图已通过GitHub、Microsoft Azure、Nebius和CoreWeave提供:自动驾驶数据集生成、图像属性增强、事件视频生成、缺陷图像生成和视频数据增强。
英伟达列出了三个使用案例。保时捷正在主导大众集团各品牌共享的自动驾驶数据飞轮,通过Voxel51在Microsoft Azure上使用Cosmos Data Factory;英伟达称这预计减少至多 90% 的重复实车测试、缩短至多 85% 的开发周期。ANYbotics用该蓝图生成超过 1500 段合成视频,并在Encord平台上校验输出,用于训练工业巡检机器人识别液体泄漏等设施变化。Ultralytics用真实图像和定向生成的合成缺陷重训YOLO模型,英伟达称其缺陷定位和召回率得到改善。
框架扩展与开放模型适配
英伟达在GTC Berlin上把Cosmos Framework的训练、优化和部署工具及配方以agent skills形式扩展到更多开放模型,并推出Cosmos 3。英伟达称,开发者与agent现在可以微调和强化学习适配GR00T、Alpamayo、QWEN、Pi0.5及其他兼容的Hugging Face模型,再用蒸馏和量化优化,并以高性能推理部署。
机器人研究实验室MicroAGI为开发自我中心操作的世界模型,用人类操作物体的视频对Cosmos 3进行后训练,并把 320 亿参数的推理模型蒸馏为 80 亿参数的Nano模型;英伟达称精度没有损失。开发者也可以在Roboflow上标注数据、针对特定环境和任务后训练Cosmos 3,再部署到Roboflow托管或本地英伟达GPU。
仿真测试与部署性能
面向仿真的Cosmos 3 Nano新变体让开发者在可重复、难以采集的多视角多传感器场景中测试自主策略。英伟达称,配套代码允许开发者调整模型,在交互式仿真中为自动驾驶汽车和双臂机器人训练、评估策略,然后再进行真实世界测试。
部署方面,更新后的Cosmos 3 NIM微服务在已验证配置下提供至多 2 倍推理速度且无质量损失,并支持连续视频分析以实现亚秒级告警。基于Cosmos NIM的Metropolis视频搜索与摘要蓝图VSS 3.3可把一条提示转化为视频AI应用;英伟达称团队能在同等GPU上监测多 40% 的视频流。ADNOC使用Fogsphere的MistIQ平台,该平台基于Cosmos和Metropolis VSS构建,在 65 个站点实时检测安全隐患;Fogsphere也用Cosmos Data Factory为罕见事件生成合成训练数据。