NVIDIA发布开源组件Snapshot，GPU推理负载恢复缩短至秒级
NVIDIA技术博客称，Snapshot可将已初始化的GPU推理负载做成检查点并在同型号GPU、同驱动节点上恢复，跳过权重加载、编译与CUDA图捕获；其基准测试中恢复时间 3.6 至 42.7 秒，相比冷启动快 8 至 36 倍。
AI解读：Snapshot是NVIDIA DSX AI Factory Platform的新开源组件，最初为NVIDIA Dynamo推理worker开发，面向Kubernetes上的GPU负载提供检查点与恢复。
它解决的具体问题是冷启动：LLM推理副本从进程启动到可服务，要加载权重、做初始化和编译、捕获CUDA图，NVIDIA称这一过程可耗时数分钟，需求突增或副本故障时GPU到位并不等于马上有服务容量。
适用条件有明确边界：恢复目标是同GPU型号、同驱动的节点；负载需满足Snapshot的检查点/恢复与运行时兼容要求；基础设施准备和容器镜像加载不在其测得的恢复路径内。按NVIDIA的说法，恢复后从检查点继续，权重加载、编译和图捕获被跳过。
提供两个Kubernetes自定义资源操作：用PodSnapshot对已运行Pod做检查点，用SnapshotJob从模板启动并在就绪后检查点；恢复时在新Pod上加nvidia.com/restore-from注解指向PodSnapshot。仓库提供vLLM、SGLang和TensorRT LLM的现成示例。
NVIDIA公布的基准在单台NVIDIA B200、VAST NFS存储上覆盖vLLM 0.31.0、SGLang 0.5.21和TensorRT LLM 1.3.0，模型从 6 亿参数到 8 卡约 1TB检查点的MoE；全部配置恢复耗时 3.6 至 42.7 秒，冷启动为 87.08 至 1110.65 秒。这是厂商自行组织的测试，未给出第三方独立复现结果。
设计合作方给出了两项单场景数据：Crusoe称在HGX B300上把GLM-5.3的Pod就绪时间从约 8 分钟降到 31 秒；Saturn Cloud称在HGX B300上把vLLM启动从 2 至 8.5 分钟降到 6 至 34 秒。这些是各自工作负载上的结果，不能直接外推到其他模型或集群。
NVIDIA技术博客发布文章，介绍开源组件NVIDIA Snapshot：它把已初始化的GPU推理负载保存为检查点，并在兼容基础设施上恢复，使推理容量上线时间从数分钟缩短到数秒。
文章由Dan Feigin撰写，称Snapshot是NVIDIA DSX AI Factory Platform的新开源组件，最初为NVIDIA Dynamo推理worker开发，也可供其他推理引擎、调度器、控制器和平台集成。
NVIDIA称，冷启动包含启动进程、加载模型权重、初始化运行时、编译与自动调优内核、捕获CUDA图等步骤，会推迟扩容和故障恢复；Snapshot恢复时跳过这些重复步骤，从检查点继续运行。
两项操作与接入方式
Snapshot为GPU Pod提供检查点和恢复两项操作，均通过Kubernetes自定义资源完成。对已运行的Pod，创建PodSnapshot并指定该Pod即可抓取状态；若要从Pod模板启动并在就绪后立即检查点，则使用SnapshotJob。恢复时，在新Pod上添加注解nvidia.com/restore-from，并指向要恢复的PodSnapshot。
NVIDIA表示，负载只需一个小的握手动作，在检查点前暂停、恢复后继续。仓库中提供vLLM、SGLang和NVIDIA TensorRT LLM的现成示例。Snapshot还能把单节点多GPU上的兼容负载作为单个检查点产物跨rank保存，用于张量并行、数据与专家并行、解码上下文并行等策略下的大型MoE模型启动。
适用条件与不在测量范围内的环节
NVIDIA明确，恢复只能在具有相同GPU型号和驱动的节点上进行，负载须满足Snapshot的检查点/恢复及运行时兼容要求。检查点与恢复的计时均不包含拉取容器镜像和配置容器运行时；基础设施准备和镜像加载仍留在恢复路径之外。
每次检查点前会释放KV cache，因此KV cache不在检查点产物内。检查点是每个模型和配置的一次性成本，NVIDIA报告其创建时间为 15 秒至 5.5 分钟，视模型和配置而定。
厂商基准：3.6 至 42.7 秒恢复
基准环境为NVIDIA B200、驱动 615.71.09、VAST（NFS）存储，推理引擎为vLLM 0.31.0、SGLang 0.5.21、TensorRT LLM 1.3.0，覆盖 1 至 8 块GPU、6 亿参数到 8 卡约 600GB至 1TB检查点的MoE模型。NVIDIA称所有测试配置中恢复耗时为 3.6 至 42.7 秒，比冷启动快 8 至 36 倍。
按文章表格，最大的 8 卡MoE配置恢复在 43 秒以内，对应冷启动为 6 至 19 分钟。NVIDIA还称，在每个测试配置中，检查点时间加恢复时间都短于一次冷启动。
恢复时间被拆为四个阶段：agent准备、CRIU恢复CPU进程状态、CUDA恢复GPU状态、唤醒与重映射。文章称 8 卡MoE配置中CUDA恢复占 18 至 29 秒，CRIU恢复占 4.2 至 10.8 秒。
合作方单场景数据
NVIDIA还列出设计合作方的自测结果：Crusoe作为Snapshot上游贡献者，称在NVIDIA HGX B300上把GLM-5.3的Pod就绪时间从约 8 分钟降至 31 秒；Saturn Cloud称在HGX B300上针对从零扩容的推理场景测试，vLLM启动从 2 至 8.5 分钟降至 6 至 34 秒。
以上数字均出自NVIDIA博客及其合作方陈述，属于特定硬件、模型和配置下的测量结果，文章未提供第三方独立复现或跨集群的普遍效果数据。