AWS上线NVIDIA Nemotron 3.5 Super VL：120B多模态模型可在EKS与SageMaker HyperPod部署
AWS机器学习博客介绍，Nemotron 3.5 Super VL是NVIDIA从Nemotron 3 Ultra蒸馏的开源多模态模型，总参数 120B、每token激活 12B，支持文本、图像、文档和视频输入，并给出在Amazon EKS、EKS Auto Mode和SageMaker HyperPod EKS上的参考部署方式。
AI解读：AWS博客称Nemotron 3.5 Super VL已加入AWS上可用的Nemotron模型序列，与Nemotron 3 Nano、Nano Omni、Super、Ultra和Nemotron 3.5 Lightning并列。该模型为 120B参数MoE，每token激活 12B。
模型支持文本、图像、文档和视频输入、文本输出，上下文长度最高 1M token；NVIDIA公开权重、训练数据集和后训练配方，可针对领域任务定制并在自有基础设施运行。
博客给出vLLM最低GPU配置：BF16下B200/GB200需 8 张、B300/GB300需 4 张、H200需 8 张、H100需 16 张；NVFP4下对应为 2、1、4、8 张。
部署架构使用Amazon ECR存镜像、FSx for Lustre存权重、EFA连接GPU节点，由NVIDIA Dynamo和vLLM提供推理服务；该架构在p6-b200.48xlarge（8 张B200）和p5en.48xlarge（8 张H200）上做过验证。
NVIDIA报告该模型在Hermes Bench得 63.44%、LangChain agent评测得 87.05%、CharXiv图表推理基准得 80.8%；这些为厂商自报数据。
AWS机器学习博客发文介绍NVIDIA Nemotron 3.5 Super VL，并给出在Amazon EKS、EKS Auto Mode和Amazon SageMaker HyperPod EKS上部署该模型及Nemotron系列其他模型的参考方式。文章作者为Alex Iankoulski。
该模型是 120B参数混合专家（MoE）模型，每个token激活 12B参数，从Nemotron 3 Ultra蒸馏而来，属于开源多模态模型，支持文本、图像、文档和视频输入，输出为文本。
模型规格与公开方式
博客列出的参数为：总参数 120B、每token激活 12B；采用Mamba-2、MoE与注意力层混合架构，搭配RADIO视觉编码器；上下文长度最高 1M token；提供BF16和NVFP4两种checkpoint。
NVIDIA公开该模型的权重、训练数据集和后训练配方，使用者可针对领域负载做定制，并在自己控制的基础设施上运行。博客称其通过NVIDIA参考实现、cookbook和NVIDIA Agent Toolkit与主流开源agent框架和编排系统集成。
厂商报告的评测数字
博客引用NVIDIA技术报告的数据：Hermes Bench 63.44%、LangChain agent评测 87.05%、CharXiv图表推理基准 80.8%。这些是NVIDIA自行报告的结果，AWS博客未给出独立复测数字。
最低GPU配置与部署路径
按博客给出的vLLM最低GPU配置，BF16精度下B200/GB200需 8 张GPU、B300/GB300需 4 张、H200需 8 张、H100需 16 张；NVFP4精度下分别降至 2、1、4、8 张。
参考实现运行在标准Amazon EKS、EKS Auto Mode和SageMaker HyperPod EKS上，三种编排选项使用相同的Kubernetes模型部署清单。EKS Auto Mode由AWS代为管理集群内的扩缩容、GPU和EFA支持。集群中CPU节点运行系统与测试pod，GPU节点运行模型；Amazon ECR存放容器镜像，共享的FSx for Lustre卷存放模型权重，EFA连接GPU节点。
推理由NVIDIA Dynamo和vLLM承担，可单节点聚合部署，也可把prefill与decode分置不同节点；对视觉语言模型，图像/视频编码阶段还可单独放在一个节点上运行。
验证与性能测量方法
博客称该架构已在p6-b200.48xlarge（8 张NVIDIA B200 GPU）和p5en.48xlarge（8 张NVIDIA H200 GPU）上验证。可用NCCL all-reduce微基准检查集群与网络，若测试期间所有GPU和EFA网卡都有负载，说明集群工作正常。
性能可用NVIDIA aiperf工具测量，输出首token时延（TTFT）、token间时延（ITL）和每秒token数（TPS）等指标；在不同并发度下重复测量，可观察时延和吞吐随并发请求数的变化。
博客展示的并发扫描显示，在两节点上，Nemotron 3.5 Super VL的聚合部署与分离部署相比，分离部署TTFT更低，ITL大致相同。文章举例：若要求TTFT低于约 600 毫秒、每token ITL低于 100 毫秒，该拓扑下单副本可服务到c32并发，约 320 token/秒；按目标吞吐除以单副本吞吐即可估算所需prefill-decode对数。