NVIDIA在GTC Berlin宣布支持八节点DGX Spark集群，统一内存扩至1TB
NVIDIA称八节点集群可本地运行GLM 5.3（753B）等前沿级模型，并给出推理、编排与预训练的基准数据；八节点集群在NVIDIA Sync中的支持将于年底前推出。
AI解读：单节点为128GB，四节点为512GB。
NVIDIA称八节点集群可运行完整GLM 5.3（753B）模型，该模型在NVFP4精度下约470GB；其技术博客展示了在八节点上运行GLM 5.3 Flash约80 tokens/秒的生成速度。
NVIDIA评估了一个面向Spark优化的集合通信后端RoCEnante，称在交换机拓扑、八个节点下带来4.43倍加速（未使用时为3.05倍），解码吞吐提升约18%。该后端已合并进FlashInfer，启动测试失败时回退到NCCL，且仅适用于交换机连接的拓扑。
拓扑选择取决于负载：NVIDIA的Qwen3.8-27B测试中，八节点物理环解码约40.1 TPS，八节点交换机加RoCEnante约52.6 TPS；无交换机环适合最简单的四节点推理配置，需要拆分集群或任意点对点通信时需交换机。
多模型编排方面，NVIDIA用NeMo Switchyard将简单请求路由至MiniCPM5 2B、复杂请求交给Qwen3.8 Flash Next；其原型在92例工具使用基准上得分91/100，与仅用Qwen的配置持平，并称在特定流量分配下聚合吞吐可达1.5倍至3.0倍。
预训练演示使用约896.5M参数的nanochat模型，八节点实现7.79倍加速、97.4%扩展效率。以上数字均来自NVIDIA技术博客的自家测试，未经独立验证。
NVIDIA在GTC Berlin宣布，正式支持将八台DGX Spark连接为集群，统一内存合计1TB，并公布推理、多模型编排和预训练的基准数据。NVIDIA称，NVIDIA Sync中的八节点集群支持将于年底前推出，Cluster Assistant负责集群设置与设备管理。
单台DGX Spark提供128GB统一内存，四节点为512GB，八节点达到1TB。NVIDIA表示，这一容量使完整GLM 5.3（753B）等此前无法在四节点系统上启动的模型可以运行；该模型在NVFP4精度下约占470GB。
GLM 5.3与推理基准
NVIDIA称在八节点集群上运行GLM 5.3 Flash，实测生成速度约80 tokens/秒，可用于针对前沿级混合专家模型的本地交互开发。其表格给出完整GLM 5.3（nvidia/GLM-5.3-NVFP4）在并发1、4、8下的表现，采用MTP3，预填充按每请求8K输入序列长度测量。
并发为1时，总预填充1,600 TPS、每用户1,600 TPS、总解码31 TPS、每用户31 TPS；并发为4时，总预填充1,600 TPS、每用户750 TPS、总解码51 TPS、每用户21 TPS；并发为8时，总预填充1,600 TPS、每用户473 TPS、总解码67 TPS、每用户18 TPS。
RoCEnante集合通信后端
张量并行推理有相当一部分时间花在all-reduce等集合操作上。NVIDIA评估了面向Spark优化的集合后端RoCEnante，它采用全对全交换加本地归约，用单个GPU内核协调交换与归约，减少通信步骤。代价是数据传输量更大：每个rank把完整输入发给所有对端并自行归约。消息或节点数增大后，这种额外流量变得更贵，环形all-reduce的带宽效率更具吸引力。
NVIDIA称，在交换机拓扑、八个Spark节点上使用Qwen3.8-27B-NVFP4（关闭推测解码），RoCEnante带来4.43倍加速，未使用时为3.05倍，扩展效率提升45%。其称四节点上预填充吞吐高约5%、解码吞吐高约21%，八节点非量化模型解码吞吐高约18%。
该后端已合并进FlashInfer，启动测试失败时自动回退到NCCL。NVIDIA明确它仅适用于交换机连接的拓扑，因为它依赖节点间直接点对点交换；它不是NCCL的替代品，NCCL仍是受支持的默认选项，在集群规模和并发增大时更合适。原始的一次性all-reduce方案由社区贡献者Jason Cook/el8提供。
节点扩展与拓扑选择
NVIDIA用稠密Qwen3.8-27B（NVFP4）、关闭推测解码与MTP，在1至8节点上测试拓扑对吞吐的影响，测量条件为8192输入、256输出、并发1。单节点预填充2,635 TPS、解码11.86 TPS；两节点直连预填充3,285 TPS、解码21.71 TPS；四节点物理环预填充4,446 TPS、解码32.82 TPS；四节点交换机加RoCEnante预填充4,556 TPS、解码36.34 TPS；八节点物理环预填充4,962 TPS、解码40.11 TPS；八节点交换机加RoCEnante预填充5,105 TPS、解码52.58 TPS。
NVIDIA的结论是：物理环在单模型铺满所有节点时解码表现好；需要把集群拆成独立分组，或负载要求节点间任意点对点连接时，需要交换机。四节点无交换机环拓扑成本更低、设置更简单，NCCL在该规模下默认使用环形算法；但八节点、拆分集群、all-to-all及传统HPC类点对点负载需要交换机。
用Switchyard编排多个模型
NVIDIA提出在共享八节点集群上按请求难度路由：轻量分类器判断请求或会话，交给对应模型池，负载均衡器在副本间分流。原型中，OpenBMB的MiniCPM5 2B担任分类器并处理简单任务，Qwen3.8 Flash Next处理复杂任务。NVIDIA称该方案运行在交换机连接的集群上，因为跨副本路由需要任意点对点连接。
在包含难题的92例工具使用基准上，路由方案得91/100，与仅用Qwen的配置持平。NVIDIA称每副本MiniCPM的每秒请求处理量约为Qwen的一个数量级，将部分流量分给小模型可提高集群吞吐上限。按三个Qwen副本（各两节点）、两个MiniCPM副本（各一节点）分配八节点，其称一半请求路由至Qwen时聚合吞吐约为仅Qwen基线的1.5倍；四分之一请求路由至Qwen、其余交给MiniCPM时约为3.0倍。路由策略是YAML文件，NVIDIA提供示例策略。
nanochat预训练的扩展效率
NVIDIA用从零预训练的nanochat模型演示训练扩展，模型约896.5M参数、20层Transformer、隐藏维度1,280、序列长度2,048。全局批大小为每步524,288 tokens，每GPU微批32条序列。单节点8,741 TPS；两节点17,202 TPS、加速1.97倍、效率98.4%；四节点33,640 TPS、加速3.85倍、效率96.2%；八节点68,079 TPS、加速7.79倍、效率97.4%。
NVIDIA称，当每个节点持有完整模型副本时，跨节点通信仅为每步一次的梯度同步，因此扩展接近线性。完整代码在GitHub上提供。