模型The Decoder AI·原文 2026年10月16日

英伟达发布1200亿参数开源多模态模型Nemotron 3.5 Super VL

英伟达发布Nemotron 3.5 Super VL,一款面向企业智能体的1200亿参数开源多模态模型,采用MoE架构每次仅激活120亿参数;同时推出两款面向本地PC与边缘设备的Bolt小模型。

AI解读:读者最需要弄清的是:Super VL这类开源模型到底给谁用、在什么条件下能跑起来。据英伟达技术博客,Super VL为持续在后台运行的企业智能体设计,处理文本、图像、文档和视频;但本地部署的Bolt 74B需要24GB显存,来源指出只有高价高端硬件才具备这个内存,消费级GPU价格下多数用户难以承受,目前面向开发者和强工作站用户。

另一个使用边界是:Super VL能自定义微调、跑在企业自有服务器上,但英伟达的优化围绕自家硬件展开。英伟达称模型可在DGX Spark、DGX Station、RTX PRO、RTX以及Jetson模块和数据中心运行,并通过NIM提供微服务。来源观点认为,想充分发挥Nemotron性能最终需要购买英伟达硬件;这一判断属于来源评论,不是英伟达官方声明。

在性能口径上需区分英伟达主张与独立结果。英伟达称Super VL从Nemotron 3 Ultra蒸馏而来,在智能体指令遵循、工具调用等任务上以约五分之一参数匹配Ultra精度,在Hermes和LangChain智能体测试中分数高于Ultra;但Artificial Analysis总榜上Super VL大幅落后领先闭源模型。独立测试方面,EXO Labs在DGX Spark上测试后称没有其他模型同时更准更快。

技术层面的关键事实:Super VL采用混合专家架构,1200亿参数中每token仅激活120亿。英伟达用4位NVFP4压缩,在Blackwell GPU上全4位精度运行,旧卡仅权重4位、计算16位。据英伟达数据,搭配Dynamo推理软件,在16块B200 GPU上可服务8倍并发用户,首token时间降低85%。

开放程度上,英伟达发布基础版、后训练版和4位压缩版权重,以及数据集和训练配方,来源称这比多数只开放权重的开源模型更开放。预训练加持续预训练用了超25万亿token,后训练和强化学习约400万示例、约100个开放训练环境。

生态方面,英伟达与Nemotron联盟(含Mistral AI、Thinking Machines Lab、Perplexity、Black Forest Labs)共同开发该模型,并已获多家机构试用:Scale AI为Skydance做供应商信用智能体,Ramp处理收据照片,EY用于收购尽职调查,CrowdStrike、Salesforce等也在使用。

英伟达发布Nemotron 3.5 Super VL,一款面向企业智能体的1200亿参数开源多模态模型,处理文本、图像、文档和视频,可在后台持续运行。据英伟达技术博客,该模型采用混合专家架构,每个token仅激活1200亿参数中的120亿。

两款面向本地硬件的小模型同步推出:Nemotron 3.5 Bolt 74B-A9B 24GB可在本地机器运行智能体任务,更小的Bolt E4B 4GB面向快速语音助手,将于本月晚些时候推出。英伟达称两者提供“每GB内存最高智能”。

Super VL和Bolt加入现有Nemotron产品线。据来源,8月发布的Lightning面向高吞吐量,Ultra处理高难度推理任务,所有变体都针对英伟达硬件优化。在Artificial Analysis总排名中,Super VL大幅落后领先闭源模型,但超过英伟达自家的Nemotron 3 Ultra。

性能说法:蒸馏自Ultra,英伟达称五分之一参数匹配精度

英伟达称Super VL从Nemotron 3 Ultra蒸馏而来。在智能体遵循指令、调用工具、处理多步业务流程或分析图像的任务上,Super VL据称以约五分之一参数匹配Ultra精度。

据英伟达,在Hermes和LangChain的智能体测试中,Super VL得分高于Ultra;在编码基准SWE-bench和Terminal-Bench上超过前代Nemotron 3 Super。英伟达称Super VL在编码基准上精度略低于竞品,但完成任务速度快四倍。

据英伟达引用Artificial Analysis榜单,在单GPU上,Super VL在智能体任务中吞吐量最高达同规模其他开源模型的五倍。EXO Labs在DGX Spark上的独立测试中,没有其他模型同时更准更快。

压缩与推理优化:4位量化、推测解码和缓存

英伟达用4位NVFP4格式压缩Super VL。在Blackwell GPU上模型完全以4位精度运行;旧卡仅权重存储为4位、计算以16位进行,模型敏感部分保留更高精度。为防止质量损失,英伟达训练压缩版匹配未压缩原版的输出。

英伟达称搭配Dynamo推理软件,Super VL在16块B200 GPU上可服务八倍并发用户,首token时间降低85%。模型内置草稿组件提前提议若干token,主模型一次前向传播验证;在DGX Spark上英伟达推荐其LiLiCorr方法,称相比无推测草稿提速最高2.3倍。

智能体每次请求都发送相同指令、工具描述和对话历史,Super VL会缓存这些重复部分的计算。Dynamo将同一会话请求路由到已持有该会话缓存的GPU。

视觉与本地部署限制

视觉方面,英伟达聚焦智能体日常工作中的材料:OCR、表格、图表、多页文档和视频。Super VL可解读图表、关联同一文档其他位置的表格并总结两者,无需单独图像模型。据英伟达,在图表基准CharXiv上Super VL得80.8%,前代Nemotron 3 Nano Omni为63%;能运行Python代码时得分升至84%。

Bolt 74B-A9B是Super VL的精简版,为混合专家模型,每步仅激活740亿参数中的90亿。为塞进24GB内存,英伟达对权重采用激进2位量化。它面向日常本地任务,如多步操作、调用工具或搜索网页。

英伟达称该模型针对RTX Spark和最高128GB共享内存的DGX Spark优化,也运行在GeForce RTX PC、DGX Station和RTX PRO工作站上,支持llama.cpp、Ollama、LM Studio和vLLM。来源指出,即使经过重压缩,24GB仍是高门槛,只有高价高端硬件具备该内存。

Bolt E4B 4GB面向GeForce RTX卡、Jetson模块和RTX/DGX Spark,驱动语音助手、交互角色或设备界面,尚未发货。

开放内容与生态

英伟达发布基础版、后训练版和4位压缩版权重,以及数据集、训练配方和强化学习环境。来源称这比多数只共享权重的开放权重模型更开放。据英伟达,预训练和持续预训练使用超25万亿token,后训练和强化学习增加约400万示例,覆盖约100个开放训练环境。

在Hugging Face上,英伟达发布多个数据集,涵盖智能体使用工具、遵循指令、处理长文本和理解图像,另有金融、安全与公平性数据集。其中一个数据集与印度理工学院马德拉斯分校及其AI4Bharat实验室合作,包含22种印度语言约2.83万亿token文本。英伟达称用该数据集微调后,Super VL在印度语言基准上超过Sarvam-105B等更大的专用模型。

Super VL由Nemotron联盟共同开发,成员包括Mistral AI、Thinking Machines Lab、Perplexity和Black Forest Labs。企业可通过NIM获得就绪微服务,配置经验证并有支持,更新计划每两周一次。权重已在Hugging Face发布。

早期采用者与商业意图

英伟达称数十家组织已在微调Super VL,主要来自文档密集和敏感数据行业。Scale AI为媒体公司Skydance适配了处理供应商信用的智能体,预计成本降至四十分之一、响应时间降至五分之一;Ramp用模型将收据照片转为结构化数据,预期响应快十倍;EY用于收购尽职调查,Hebbia分析信贷协议。

第二波采用者来自网络安全:AI21为安全公司Alice微调Super VL分析威胁和漏洞,据英伟达准确率提升40%;Dream用于漏洞搜寻,CrowdStrike构建防御企业网络的智能体。Salesforce计划自动化政府工作流,R1审计医疗账单,Perplexity、Dassault Systèmes和Mercor也在使用。

来源观点认为,英伟达开放模型策略有自利性:企业越多运行自己的开放模型,对算力硬件需求越大,开放模型可能继续针对英伟达优化。来源提到英伟达近期向Hugging Face投资129亿美元。该判断属于来源评论。

信息来源

The Decoder AI原始来源

更多

新闻专题
外观