Meta的Muse Spark Open已上线Amazon SageMaker JumpStart
AWS官方博客介绍,这款面向编码优化的开放权重模型可在自有AWS账户中通过SageMaker Studio或Python SDK部署到SageMaker AI端点,并给出两个变体的实例选择与部署流程。
AI解读:模型采用MoE架构,总参数 816B、每token激活 42B,上下文长度 100 万token,支持文本、图像、文档、音频和音视频输入,输出文本。
SageMaker JumpStart提供BF16(Muse-Spark-Open-816B-A42B)与NVFP4量化(Muse-Spark-Open-816B-A42B-NVFP4)两个变体。NVFP4权重内存约为BF16的四分之一,NVFP4运行于ml.p5e.48xlarge,BF16运行于ml.p6-b300.48xlarge。
文章称,Meta用真实开发者工作流(多文件重构、长时间调试)训练该模型,并将其定位为可规划、执行、观察结果并自我纠错的agentic推理模型。在SageMaker AI上,工具、浏览器和计算机使用环境由用户的应用或智能体框架提供。
发布时仅在美国东部(弗吉尼亚北部)和美国东部(俄亥俄)两个区域可用,模型为gated需接受EULA,部署通常需 15–20 分钟;端点为运行期间计费,文章建议评估后删除端点。
AWS机器学习博客发布文章称,Meta的编码优化开放权重模型Muse Spark Open现已在Amazon SageMaker JumpStart上提供。用户可在自己的AWS账户中将它部署为SageMaker AI端点,无需自行管理服务基础设施。
该文作者Aris Tsakpinis给出的摘要称,模型训练自真实开发者工作流,例如多文件重构和长时间调试,并支持 100 万token上下文窗口。
模型规格与许可
文章列出了模型属性:提供商为Meta,架构为混合专家(MoE)推理模型,总参数 816B、每token激活 42B,上下文长度 100 万token;输入模态包括文本、图像、文档、音频和音视频,输出为文本。
Meta以Muse Model License(含Muse Spark Usage Policy)发布权重。文章称,SageMaker JumpStart中提供BF16和NVFP4两个变体。
- BF16变体ID:Muse-Spark-Open-816B-A42B
- NVFP4量化变体ID:Muse-Spark-Open-816B-A42B-NVFP4
- NVFP4变体将权重存为NVIDIA 4位浮点格式,所需内存约为BF16权重的四分之一
- SageMaker JumpStart的模型ID:BF16为meta-vlm-muse-spark-open-816b-a42b,NVFP4为meta-vlm-muse-spark-open-816b-a42b-nvfp4
面向长时间编码智能体的设计
文章称Meta按开发者在真实仓库中的工作方式训练该模型:代码生成、调试、多文件重构以及运行时间较长的任务。100 万token上下文窗口使其可容纳包含依赖、遗留代码和数千文件的整个项目,无需把任务拆小以适配上下文。
Meta称该模型从设计之初即为agentic模型:会规划、行动、观察结果并在长时间跨度内自我纠错,而非只做单次工具调用。作为推理模型,它先思考再行动,SageMaker AI端点会随答案一起返回推理内容,便于跟踪智能体的行为与原因。
Meta称训练模型进行网页浏览、为可拆分的工作协调子智能体,以及在桌面、移动端和浏览器环境中操作计算机。文章指出这些属于模型自身能力;在SageMaker AI上,工具、浏览器和计算机使用环境由用户的应用或智能体框架提供。
实例选择与部署方式
文章给出两点影响服务方式的性质:稀疏激活使每token计算量较低,但服务时仍需足够GPU内存容纳全部 816B参数,因此实例选择取决于内存容量;NVFP4变体运行在ml.p5e.48xlarge上,BF16变体运行在ml.p6-b300.48xlarge上。文章称NVFP4是考虑成本时优先尝试的变体,并建议在自身工作负载上评估以确认质量符合用例。
部署路径有两条:在SageMaker Studio中搜索Muse Spark Open,或使用SageMaker Python SDK。两条路径都会在用户账户中创建实时SageMaker AI端点。SDK路径要求Python 3.10或更高版本以及SageMaker Python SDK v3。
文章称Muse Spark Open是gated模型,在Studio中会显示最终用户许可协议(EULA),需接受后继续;使用SDK时须设置accept_eula=True。部署通常需要 15–20 分钟,待端点状态变为InService后即可接收请求。
- 部署前提:具备创建SageMaker AI模型和端点权限的AWS账户;IAM执行角色(演示中用AmazonSageMakerFullAccess,生产环境应最小化授权)
- 端点实例配额:NVFP4需ml.p5e.48xlarge用于端点使用,BF16需ml.p6-b300.48xlarge用于端点使用
- 可用区域:发布时为美国东部(弗吉尼亚北部)和美国东部(俄亥俄),其他区域需在对应区域的SageMaker JumpStart中查看
- 可选配置:关联自有Amazon VPC、用AWS KMS密钥加密存储卷、开启容器网络隔离;可指定实例类型与扩缩上限,并通过重新部署固定模型版本
推理与清理
端点接受OpenAI兼容的chat载荷(含messages列表)并返回chat completion。最终答案位于message.content,模型推理位于message.reasoning_content,usage.reasoning_tokens报告推理所用token数。文章提示,由于是推理模型,应为推理和最终答案在max_tokens中留出足够空间。
端点还支持流式输出:在请求体中加入 "stream": true,并改用endpoint.invoke_with_response_stream而非invoke。
关于费用,文章称承载该模型的实例为多GPU实例,端点在运行期间持续计费,无论是否处理请求。使用SDK部署可依次删除模型、端点与端点配置;从SageMaker Studio部署可在控制台的Inference > Endpoints中删除端点。文章建议选择生产实例前,先在自有代码仓库上对两个变体做基准测试,并在部署前查看Muse Model License。