Meta发布Muse Spark Open：816B MoE编码模型，100 万token上下文
NVIDIA技术博客称，Meta推出面向智能体编码的Muse Spark Open，总参数 816B、激活 42B、上下文 100 万token，并使用Meta生成、为NVIDIA Blackwell Ultra优化的NVFP4检查点。
AI解读：据NVIDIA技术博客，Meta发布编码优化的MoE模型Muse Spark Open，总参数 816B，每token激活 42B，上下文窗口 1M token。
该模型在NVIDIA GB300 NVL72 Blackwell Ultra上训练，定位为长周期、多步骤的智能体编码工作流，NVIDIA称其首次尝试准确率更高、工具调用可靠、能理解大型代码库。
Muse Spark Open具备多模态感知：1.8B感知编码器原生处理交错文本、图像、视频帧和音频，无需分模态流水线。
NVIDIA称其在四块Blackwell GPU上运行智能体负载时，每GPU每秒超过 5 万token，每用户每秒超过 600 token。
开发者可从Hugging Face下载NVFP4权重，生产部署可使用NVIDIA NIM，并可用NeMo AutoModel和Megatron Bridge进行后训练。
NVIDIA技术博客发文称，Meta推出Muse Spark Open，一个面向智能体编码的 816B混合专家（MoE）模型，每token激活 42B参数，上下文窗口为 100 万token。该模型在NVIDIA GB300 NVL72 Blackwell Ultra上训练，Meta生成的NVFP4检查点针对NVIDIA Blackwell Ultra优化。
模型规格与定位
据NVIDIA技术博客，Muse Spark Open总参数 816B，采用稀疏MoE架构，通过 256 个专家中路由到前 8 个专家，每token激活 42B参数。该模型定位为智能体编码，NVIDIA称其提供更高的首次尝试准确率、可靠的tool calling以及对仓库级代码库的深度理解。
NVIDIA将通用编码模型描述为针对单次补全优化，例如生成函数、编写单元测试或内联修复，适合上下文小、答案即时的离散任务；Muse Spark Open则面向规划多文件重构、在数千个文件中导航、从失败测试中恢复、跨长周期协调子智能体等需要持续多步骤执行的工作负载。
- 总参数：816B
- 激活参数：42B，通过top 8 routing across 256 experts
- 上下文窗口：1M token
- 训练硬件：NVIDIA GB300 NVL72 Blackwell Ultra
- 检查点：Meta生成、为NVIDIA Blackwell Ultra优化的NVFP4权重
智能体与多模态能力
NVIDIA称，Muse Spark Open支持多步骤任务执行，包括使用工具、输出评估和迭代改进，使用目标条件保持方向、上下文压缩来在长时间会话中保留知识。除编码外，该模型可搜索网页（含多模态浏览）、生成并协调子智能体处理可分解任务，并利用跨桌面、移动端和浏览器的计算机使用能力。它会在每个动作前生成单独的commentary，让开发者了解智能体在做什么及原因。
模型搭载 1.8B感知编码器，原生处理交错文本、图像、视频帧和音频，无需按模态单独流水线。NVIDIA称这让模型可在单次统一处理中推理所见、所听和所读内容，适合在同一个智能体会话中处理截图、图表、错误日志和视频演示。
- 支持工具使用、输出评估与迭代改进
- 支持网页搜索，包括多模态浏览
- 支持生成并协调子智能体
- 支持跨桌面、移动端和浏览器的计算机使用
- 感知编码器 1.8B，统一处理文本、图像、视频帧和音频
GB300 NVL72上的运行数据与部署方式
NVIDIA称，Muse Spark Open在NVIDIA GB300 NVL72上开箱运行智能体工作负载时，每GPU每秒最高可达 5 万token，每用户每秒最高可达 600 token。该平台将 72 块NVIDIA Blackwell Ultra GPU集成到单机架，提供 130 TB/s的NVLink域带宽；NVIDIA称这对每token路由到 256 个专家中 8 个的稀疏MoE模型尤为重要，可减少专家流量跨传统网络时的瓶颈。
NVIDIA提供多种推理栈：SGLang、vLLM和TensorRT LLM，让开发者直接控制服务配置、并行和批处理；TensorRT LLM增加针对NVIDIA GPU编译的引擎；NVIDIA Dynamo为三者发布部署配方，并将预填充与解码分离到专用GPU池，还使用KV cache感知路由将请求发到已持有相关前缀的worker。开发者可使用NVIDIA NeMo AutoModel在领域数据集上后训练Muse Spark Open，该库是PyTorch原生训练库，原生支持Hugging Face检查点，无需模型转换，开箱支持全量SFT和LoRA微调；也可使用NVIDIA Megatron Bridge将Hugging Face检查点转换为Megatron格式以进行大规模生产训练。
- 吞吐：在四块NVIDIA Blackwell GPU上使用推测解码，每GPU每秒超过 5 万token，每用户每秒超过 600 token
- GB300 NVL72：72 块Blackwell Ultra GPU，NVLink域带宽 130 TB/s
- 推理栈：SGLang、vLLM、TensorRT LLM，Dynamo提供部署配方
- 后训练：NeMo AutoModel支持全量SFT和LoRA，Megatron Bridge转换检查点
- 获取方式：从Hugging Face下载NVFP4权重；生产部署可用NVIDIA NIM