NVIDIA将Run:ai平台整体开源,纳入DSX AI Factory体系
NVIDIA宣布把完整的Run:ai平台以开源软件形式发布,代码托管在NVIDIA DSX AI Factory的GitHub组织,同时通过NGC以社区产品形式提供Helm chart;四个模块可独立采用。
AI解读:NVIDIA在技术博客中宣布,将完整的NVIDIA Run:ai平台作为开源软件发布,代码位于NVIDIA DSX AI Factory GitHub组织下的Run:ai仓库,可以整平台采用,也可以只集成单个模块。
NVIDIA说明,NGC下载需接受相应软件许可协议和AI产品特定条款;社区产品不需要付费的Run:ai订阅或支持权益,也不包含企业级支持。
此次开源包含四个可独立采用的组件:KAI Scheduler、GPU Fractioning Operator、KAI Resource Management、Workload Map,加上其余平台代码共同构成完整平台。
KAI Scheduler以Apache 2.0许可发布并已捐给CNCF作为Sandbox项目,NVIDIA称后续调度器开发都在社区仓库进行。GPU Fractioning Operator则把CUDA 13.4原生的GPU分片能力接入Kubernetes,NVIDIA表示原有专有实现已因此退役。
Crusoe、Mirantis、Nebius、OpenNebula Systems、Rafay、Saturn Cloud、Spectro Cloud、vCluster等NVIDIA DSX生态伙伴已在各自方案中集成Run:ai。面向企业AI Factory部署,Run:ai仍通过NVIDIA支持的商品化方式提供,包括独立产品、Mission Control、AI Enterprise和部分云市场,许可与支持条款因渠道而异。
NVIDIA在技术博客中宣布,将完整的NVIDIA Run:ai平台开源,作为NVIDIA DSX AI Factory平台的开源基础,客户、开发者和生态伙伴可以整平台采用,也可以按需集成单个组件。
开源代码位于NVIDIA DSX AI Factory GitHub组织的Run:ai仓库;完整开源平台同时以Community Product形式在NVIDIA NGC提供,并附带用于安装集成栈的Helm chart。NVIDIA表示,该社区产品不要求付费的Run:ai订阅或NVIDIA支持权益,也不包含NVIDIA企业级支持。
开源包含哪些组件
NVIDIA称,此次发布包含完整的Run:ai平台,以及四个可独立采用的组件:KAI Scheduler、GPU Fractioning Operator、KAI Resource Management和Workload Map。平台团队和生态伙伴可以把它作为整体采用、在其上构建自己的产品与服务,或按需集成单个组件。
其中KAI Scheduler是以Apache 2.0许可发布的Kubernetes原生调度器,已捐给CNCF作为Sandbox项目。NVIDIA称KAI仍是Run:ai背后的上游引擎,所有调度器开发都在社区仓库进行。其面向规模化的GPU工作负载,涉及gang scheduling与预调度内存模拟、公平份额与配额分配、拓扑感知和装箱、GPU共享(MIG、MPS、时间片、HaMi、CUDA 13.4 MPS分片)以及动态资源分配(DRA)支持。
GPU Fractioning Operator把CUDA原生的GPU分片能力带到Kubernetes,并附带指标导出器以按Pod查看分片使用情况。NVIDIA说明,Run:ai长期提供带硬性内存隔离的分片GPU分配,原先依赖专有实现,现在该专有实现已退役,改用CUDA 13.4的原生能力;CUDA驱动对每个工作负载的GPU内存施加硬限制,每个工作负载只能看到分配给自己的那部分显存。该组件与调度器无关,同时可与KAI Scheduler集成,把可用GPU容量转化为实际放置决策。
- KAI Scheduler:Apache 2.0许可,CNCF Sandbox项目,支持gang scheduling、公平份额与配额、拓扑感知、GPU共享与DRA。
- GPU Fractioning Operator:把CUDA 13.4原生GPU分片接入Kubernetes,含按Pod的指标导出,调度器无关,可与KAI Scheduler集成。
- KAI Resource Management:提供项目与部门等组织层级、资源分配与配额语义、节点池分组,面向多团队共享的异构集群。
- Workload Map:以Go库形式发布,可在非结构化对象上离线工作,不需要向集群添加任何东西;它只描述工作负载结构,不做调度、排队、自动扩缩或跨集群传播。
采用方式与限制
NVIDIA给出两条采用路径:直接把开源Run:ai作为软件部署,或通过NVIDIA DSX生态伙伴的方案使用。直接部署的团队可以在GitHub仓库查看代码、参与贡献、在平台之上构建,或独立采用模块化组件。
NVIDIA说明,Run:ai源代码受其适用的开源许可证约束;从NGC下载社区产品需接受适用的NVIDIA软件许可协议和NVIDIA AI产品特定条款。NVIDIA称社区产品不要求付费的Run:ai订阅或NVIDIA支持权益,但明确不包含NVIDIA企业级支持。
对于NVIDIA Enterprise AI Factory部署,Run:ai继续通过NVIDIA支持的商品化方式提供,包括作为独立产品、通过NVIDIA Mission Control和NVIDIA AI Enterprise,以及部分云市场。NVIDIA表示,可用性、许可和支持条款因具体提供方式而异。
NVIDIA还提到两个可独立采用的相关开源项目:Model Streamer用于并行读取模型权重并直接流式写入GPU内存,以减少推理工作负载冷启动时的加载时间;Grove提供Kubernetes API,用于编排从单个Pod到跨数万GPU的多组件工作负载,具备拓扑感知自动扩缩和分层gang scheduling,是NVIDIA Dynamo的模块化部分。
- NVIDIA生态伙伴集成情况:Crusoe与Crusoe Managed Kubernetes集成;Mirantis将Run:ai扩展到k0rdent AI;Nebius在Nebius AI Cloud提供一键应用部署;OpenNebula Systems通过OneKS集成到OpenNebula AI Cloud Platform;Rafay扩展集成以提供全托管服务;Saturn Cloud借其支持白标AI推理服务;Spectro Cloud将其集成进PaletteAI;vCluster提供按租户预验证的部署模板。
- Model Streamer已被vLLM(--load-format runai_streamer标志)和SGLang上游集成。NVIDIA引用AWS、Google Cloud、Microsoft Azure的相应文档与集成,并称在八个NVIDIA H100 VM上的公开基准显示加载速度比默认加载器快 3 到 6 倍、稳定达到 80 Gbps,而默认路径约为 40 Gbps。
- NVIDIA还引用存储厂商公布的测试:WEKA称加载到GPU内存用时 3.5 秒,比本地NVMe快约 40%;VAST Data称测得 1.7 秒、比本地NVMe提升 60%;DDN称在 8 个GPU上用不到四秒流式传输 65.5 GB的Qwen3-32B,并称相比本地存储每日最多节省 10% 的GPU运行时间。这些数字来自相关厂商,而非NVIDIA自身的统一评测。