Databricks AI Runtime正式可用,用无服务器英伟达GPU微调开放模型
Databricks在GTC Berlin宣布AI Runtime全面开放,支持在无服务器NVIDIA GPU上使用NeMo、NGC容器和新Nemotron cookbooks训练、微调开放模型,训练后可通过Databricks Model Serving部署实时推理。
AI解读:Databricks称AI Runtime(AIR)已全面可用,提供无服务器NVIDIA GPU,开发者可运行现有代码和容器,无需自行管理GPU集群与网络。
支持多节点分布式训练,底层由Databricks管理集群和网络,采用NVIDIA Quantum InfiniBand(RDMA)和NCCL负责GPU间通信。
工具链接入NeMo、NGC容器、Nemotron cookbooks,以及MLflow、Unity Catalog、Lakeflow Jobs等Databricks既有组件,训练数据访问受Unity Catalog治理。
官方举例的技术支持智能体场景中,团队可用Nemotron模型在标注过的工单上微调,再用Model Serving部署为生产推理服务;这是Databricks描述的示例流程,未给出效果数据。
Databricks在GTC Berlin宣布,其AI Runtime(AIR)正式全面可用。开发者可在无服务器NVIDIA GPU上使用NVIDIA NeMo、NGC容器和新的Nemotron cookbooks训练与微调开放模型,之后通过Databricks Model Serving部署实时推理。这一消息来自Databricks官方博客。
AIR提供什么
据Databricks介绍,AIR提供无服务器NVIDIA GPU,开发者可以运行已有代码和容器,不必管理GPU基础设施。它支持多节点分布式训练,把较大工作负载扩展到多个GPU节点;节点间通信由NVIDIA Quantum InfiniBand(带RDMA)和NCCL承担,底层集群和网络由Databricks管理。
环境方面,开发者可在GPU notebook或AIR CLI中准备Lakehouse数据,使用包含PyTorch和CUDA的标准环境,也可使用分布式训练框架或自带库与自定义训练循环。AIR现支持Docker和私有镜像仓库,并可用环境缓存加快工作负载启动。
治理与运维接入既有组件
Databricks将AIR定位为与其数据治理和运维工具打通。Unity Catalog管控训练数据访问,原生系统表提供CPU和GPU使用情况;MLflow跟踪训练实验和GPU利用率;Lakeflow Jobs把训练与上游数据准备、下游评估编排为可重复流程,Declarative Automation Bundles支持这些工作流的CI/CD。
调试方面,Genie Code可帮助在notebook中编写和调整训练脚本、排查模型代码与训练错误、定位显存和通信开销等GPU瓶颈,并给出CUDA、cuDNN、NCCL和性能分析工具的指导。Databricks表示开发者可在运行前审阅和修改建议代码。
覆盖的模型与场景
Databricks称,随着Nemotron 3.5 Lightning和Super VL发布,客户可在Databricks上从第一天起加载、试验、适配和部署这些模型;AIR借助NeMo和NeMo Automodel支持模型定制。官方给出的示例是技术支持智能体:用NeMo在标注过的历史工单上微调Nemotron,使其更了解公司产品、术语和排障流程,训练完成后经Model Serving部署。
除语言模型外,AIR还提供针对NVIDIA Kumo Anomaly的验证微调流程,这是一个用于时间序列异常检测的开放研究模型,配套MLflow跟踪和Unity Catalog检查点。Databricks称,将Kumo-Anomaly与Genie Ontology配合,可把时间序列中的异常模式与业务含义关联起来。这些是Databricks描述的能力与适用方向,博客未给出微调后的准确率、成本或性能数据。