Nvidia Nemotron 3模型架构解析：混合Mamba-注意力与MoE如何降低推理成本
ByteByteGo根据公开材料梳理Nvidia Nemotron 3系列的技术设计：Lightning以约 300 亿总参数、每token约 30 亿激活参数运行，Super和Ultra引入LatentMoE，权重经NVFP4量化后从约 66GB降至约 22GB。
AI解读：ByteByteGo的这篇技术解析基于Nvidia公开分享的材料，介绍Nemotron 3系列如何在保持模型能力的同时降低计算与内存开销。文章未提供独立的性能评测或基准数据。
按文章描述，Nemotron 3 Lightning总参数约 300 亿，每个MoE层有 128 个路由专家，每个token选择 6 个专家，因此单token约激活 30 亿参数。注意力部分采用 32 个查询头、2 个键值头的分组查询注意力。
模型把Mamba层与注意力层交错排列：Mamba用固定大小的状态承载长序列信息，避免KV缓存随历史线性增长；部分注意力层保留对早期位置的直接访问能力。文章指出，压缩历史到有界状态可能削弱精确检索能力。
Super和Ultra分别约为 1200 亿总参数/120 亿激活参数、5500 亿总参数/550 亿激活参数，两者都使用LatentMoE：把token表示投影到较小空间再做专家计算，以减少内存流量和通信开销，用节省支撑更多专家。
训练流程分预训练、监督微调、强化学习三阶段；强化学习使用GRPO，并配有评估数学答案、执行代码测试、检查指令遵循和输出schema的环境。多token预测用于推测解码，主模型一次验证多个候选token。
Nvidia用NVFP4格式配合量化感知蒸馏，把BF16模型权重从约 66GB压到约 22GB的检查点。文章称Ultra还采用多教师同策略蒸馏，由多个领域教师模型指导学生模型自己生成的尝试。以上均为文章转述的Nvidia设计，非独立验证结果。
ByteByteGo发布技术解析，梳理Nvidia Nemotron 3系列模型的设计思路：通过Mamba与注意力混合、稀疏专家路由、多token预测和低精度量化，降低每个token的计算与显存开销。文章注明内容基于Nvidia公开分享的材料，属于对厂商设计的转述，未做独立评测。
Lightning的稀疏激活与分组查询注意力
文章称Nemotron 3 Lightning总参数约 300 亿，但每个token只激活约 30 亿。实现方式是MoE：每个MoE层设 128 个路由专家，路由器为每个token选择 6 个专家参与计算，其余专家不参与该token的前向计算。
文章同时指出，未激活的专家仍占用显存，稀疏激活减少的是单token计算量，不减少托管模型所需的总显存。注意力方面，Lightning配置 32 个查询头和 2 个键值头，多个查询头共享键值表示，以降低KV缓存规模。
Mamba与注意力的分工
文章解释，全注意力在生成长文本时KV缓存随历史线性增长，而Mamba层维护一个固定大小的数值状态，随token到达持续更新，单token更新成本不随序列变长而增加。代价是把长历史压缩进有界状态后，精确检索早期内容会更困难。
Nemotron把两类层交错放进同一网络：大部分序列处理走紧凑状态，部分注意力层保留对远距离位置的直接访问，并维持KV缓存。文章强调层序由架构固定，每个token表示依次经过Mamba、注意力和专家变换。
Super、Ultra与LatentMoE
文章称Nemotron 3 Super约 1200 亿总参数、120 亿激活参数，Ultra约 5500 亿总参数、550 亿激活参数，两者都沿用混合Mamba-注意力设计，并引入LatentMoE。
LatentMoE的做法是先把较宽的token表示投影到较小维度，再交给路由专家计算，输出合并后投影回主模型维度。文章称这能减少专家权重的内存流量和通信开销，Nvidia把省下的预算用于增加专家数量和每个token的专家组合数。Ultra另采用多教师同策略蒸馏，由多个领域教师模型指导学生模型自己生成的尝试。
训练流程与推理加速
文章把训练分为三阶段：预训练在代码、数学、科学和通用知识数据上做下一token预测，数据配比逐步向高质量材料倾斜；监督微调用指令、对话、代码和工具交互示例，损失只计算在助手token上；强化学习采用GRPO，让模型对同一提示生成多个回答并按相对表现更新。
强化学习环境会评估数学答案、在测试上执行代码、检查指令遵循和输出schema。推理侧，模型内置多token预测，配合独立草稿模型做推测解码：草稿模型提出若干候选token，主模型一次验证，接受多个候选即可减少串行前向次数，被拒绝时从已接受前缀继续。
量化压缩的幅度与条件
文章称Nvidia使用NVFP4格式，每 16 个值共享一个FP8缩放，另有张量级缩放，并通过量化感知蒸馏让量化学生模型对齐固定的BF16教师模型输出分数。结果是模型从BF16的约 66GB降至NVFP4检查点的约 22GB。
这一体积对比针对的是文章所述模型检查点，量化带来的精度损失程度、实际推理吞吐和任务表现，文章未给出可独立核对的评测数据。