英伟达发布Nemotron 3.5 Super VL与两款Bolt边缘模型
英伟达称Super VL为1200亿参数开源模型,在同级中吞吐量最高快5倍,与Bolt 74B-A9B 24GB即日可用,Bolt E4B 4GB将于10月23日推出。
AI解读:Super VL为1200亿参数开源模型,公司称其多模态智能体任务准确率接近自家最大推理模型,参数约五分之一,同级吞吐量最高快5倍。
Bolt 74B-A9B 24GB采用原生2-bit量化,可在24GB显存运行,面向本地智能体工作负载;Bolt E4B 4GB面向GeForce RTX、Jetson和RTX/DGX Spark上的语音与嵌入式智能体。
Super VL与Bolt 74B-A9B 24GB即日可用,Bolt E4B 4GB将于10月23日推出;来源未披露三项模型的价格或具体性能基准数字。
英伟达称多家机构正基于自有数据后训练Super VL,涉及Scale AI、AI21等;这些均为公司说法,来源未提供第三方评测或部署效果数据。
英伟达发布Nemotron 3.5 Super VL与两款Bolt边缘模型。公司称Super VL为1200亿参数开源模型,面向专业常驻智能体,任务完成速度与准确率为同级领先;Bolt 74B-A9B 24GB与Bolt E4B 4GB分别面向本地智能体与快速对话及嵌入式场景。
Super VL:公司称参数约为最大推理模型五分之一
英伟达表示,Super VL与Nemotron Coalition合作构建,在多模态智能体任务上取得领先准确率,涵盖指令遵循、工具调用、多步业务流程和视觉理解,效果接近公司自家最大推理模型,而参数约为其五分之一。公司称其为同级中最快的开源智能体模型,比次优模型快5倍,并援引Artificial Analysis Intelligence Index排行榜称吞吐量最高快5倍。
该模型可后训练、可自托管,组织能用自己的数据继续训练并部署在自有基础设施上。英伟达称其训练约26万亿token,覆盖预训练与继续预训练,后训练使用约380万样本并在数十个环境中进行强化学习。
- 视觉能力针对OCR、表格、图表和结构化文档信息,可处理网页、PDF并基于理解执行操作。
- 以开放权重、开放数据集和训练配方发布;在Hugging Face、Open Router、ModelScope社区及NVIDIA NIM上可用。
- 可运行于DGX Spark、DGX Station、RTX PRO和RTX系统、Jetson以及数据中心和云环境。
- 英伟达称在Dynamo上服务可支持最多8倍用户、延迟降低85%。
Bolt 74B-A9B 24GB:本地跑智能体
英伟达称Bolt 74B-A9B 24GB使用原生2-bit量化,可装入24GB显存并与其他应用并行,面向NVIDIA RTX/DGX Spark上的日常本地智能体任务。公司称与同内存占用模型相比,它在智能与速度间取得平衡,够聪明完成多数任务,又明显快于最聪明的模型。
该模型已在Hugging Face上线,支持llama.cpp、Ollama、LM Studio、Unsloth和vLLM,也可运行于GeForce RTX PC、DGX Spark、DGX Station和RTX PRO工作站。公司称其为PinchBench同级第一开源模型,BrowseComp同级第二开源模型。
- 支持将网页研究、写作、代码调试等任务交给本地智能体框架,不必上传云端。
- 英伟达称其为10月16日上市的NVIDIA RTX Spark笔记本设计。
- Bolt E4B 4GB面向GeForce RTX、Jetson及RTX/DGX Spark上的物理与对话智能体,兼顾自然对话与多轮智能体能力,10月23日推出。
公司列出的后训练与集成机构
英伟达称数十家机构正基于自有数据、工具、策略和工作流后训练Super VL,以提高特定任务准确率。Scale AI为Skydance的供应商信用金融智能体和EY的并购尽职调查智能体后训练该模型;AfterQuery为Hebbia定制信用协议分析;AI21与Alice针对网络安全攻击韧性进行后训练;Mercor在APEX-SWE编码基准上后训练,用于可规划、编写和调试代码的编码智能体。
其他定制机构包括Ramp(金融文档智能)、Dream(主权AI网络安全研究)、Lila Sciences(科学发现与搜索)、R1(医疗理赔分析与收入周期管理)。TrainLoop用Nolla的皮肤科数据后训练模型,英伟达称Nolla成为首家获批由AI开具初始患者处方的公司。
集成的软件平台公司包括Atlassian、CrowdStrike、Dassault Systèmes、Perplexity、Salesforce和Synopsys,覆盖Jira与Confluence智能体搜索、企业安全蓝队、工程设计与仿真、搜索与智能体任务、政府工作流自动化及半导体设计验证。以上均为英伟达列出的说法,来源未提供这些部署的独立效果数据。
开放与安全控制
英伟达称模型以开放权重、开放数据集和训练配方发布,组织可按安全与数据驻留要求选择运行位置,并选择可自行调整而非受供应商限制的模型。定制通过NVIDIA NeMo、基于Python的管道和开放数据集支持。英伟达同时在Hugging Face发布覆盖智能体工具使用、金融、指令遵循、长上下文、公平性和视觉语言理解的开放数据集,并在NeMo Gym发布强化学习环境。
NVIDIA NIM将该模型打包为生产级微服务,提供性能优化且经过验证的配置和企业级支持,每两周刷新安全补丁与性能改进。