模型AWS Machine Learning·原文 2026年10月16日

Reflection AI发布开源权重模型Beam,用于智能体编程与长周期任务

Beam采用稀疏混合专家架构,总参数 5010 亿、激活参数 230 亿,Reflection报告有效上下文长度为 100 万token;权重以Apache 2.0许可在Hugging Face发布,提供BF16、FP8、NVFP4三种检查点,上线时可在Amazon SageMaker JumpStart的美国东部(弗吉尼亚北部)和俄亥俄区域使用。

AI解读:权重通过Hugging Face以Apache 2.0许可发布,Beam 1.0提供BF16、FP8、NVFP4三种检查点,内存占用与硬件兼容性不同。

AWS给出两条部署路径:SageMaker JumpStart实时端点提供托管模型包、端点与调用API;SageMaker HyperPod Inference则暴露集群与推理运行时,可选用JumpStart托管容器,或用SGLang、vLLM控制服务镜像、运行时参数、量化和分布式执行。

算力方面,5010 亿总参数需要多GPU部署;BF16权重内存需求最大,需多节点配置。AWS称FP8可用搭载H100的ml.p5.48xlarge或搭载H200的ml.p5e.48xlarge、ml.p5en.48xlarge;NVFP4可用搭载B200的ml.p6-b200.48xlarge。

上线时Beam在SageMaker JumpStart中的可用区域为美国东部(弗吉尼亚北部)和俄亥俄。部署前提包括AWS账号及相关IAM、网络与存储权限,接受模型条款,AWS CLI和Python 3.11以上,以及支持所选配置的GPU配额与容量。

Reflection AI推出Beam,一个面向智能体编程与长周期任务的开源权重模型。据AWS博客介绍,Beam可处理维护代码、使用工具、解读结果并完成多步工作流;开放权重让开发者与研究者控制运行时、部署环境和定制过程。

该博客由AWS作者撰写,说明了Reflection的构想,并给出在AWS上部署Beam的方法:先用Amazon SageMaker JumpStart实时端点走全托管路径;需要Kubernetes原生控制分布式GPU基础设施时,使用Amazon SageMaker HyperPod Inference,搭配JumpStart、SGLang或vLLM。

Beam的规格与许可

Beam是一个稀疏混合专家模型,用于解决软件问题、修改代码、调用工具并对中间结果采取行动。它共有 5010 亿总参数、230 亿激活参数,Reflection报告其有效上下文长度为 100 万token——AWS的说明分别指出,总参数影响检查点存储、权重内存、分片与并行方式,激活参数影响每token的计算量。

Reflection通过Hugging Face以Apache 2.0许可发布Beam权重。Beam 1.0提供BF16、FP8、NVFP4三种检查点变体,这些格式在内存占用和硬件兼容性上有所不同。

Reflection称其使命是通过开放模型权重、已发表研究和开源软件,让智能能力开放且可及;其完整AI栈覆盖模型、核心软件、生产基础设施和应用。

  • 总参数 5010 亿,激活参数 230 亿,稀疏混合专家架构。
  • Reflection报告的有效上下文长度为 100 万token。
  • 权重经Hugging Face以Apache 2.0许可发布,Beam 1.0提供BF16、FP8、NVFP4三种检查点。

在AWS上部署的两条路径

AWS把SageMaker JumpStart实时端点定位为从模型目录到托管HTTPS端点的最短路径:它把模型、容器和端点打包在托管部署流程之后,用户不需要操作Kubernetes。Ray与HyperPod路径则暴露集群和推理运行时,让用户控制分布式执行、缓存、路由和扩缩容。

HyperPod路径可使用AWS托管的JumpStart容器配置,也可用SGLang或vLLM部署Beam,以控制服务镜像、运行时参数、量化或分布式执行设置。Beam可从SageMaker JumpStart、Hugging Face Hub或可选的Amazon S3镜像来源获取。

在HyperPod上,模型和镜像缓存可将权重预载到节点本地NVMe存储并预拉取服务镜像;HyperPod Inference Gateway提供OpenAI兼容接口并在副本间路由请求,还支持托管的分层KV缓存与智能路由。AWS称这些属于 2026 年推出的Amazon SageMaker Inference能力。

  • SageMaker JumpStart实时端点:托管模型包、端点与调用API,无需操作Kubernetes。
  • JumpStart on HyperPod Inference:在EKS编排的HyperPod集群上使用托管容器与模型配置。
  • SGLang或vLLM on HyperPod Inference:自行控制服务镜像、运行时参数、量化与分布式执行。

算力、区域与使用前提

5010 亿总参数意味着需要多GPU部署。AWS建议BF16规划多节点配置,以获得足够的聚合GPU内存容纳权重和运行时开销;FP8可使用搭载NVIDIA H100的ml.p5.48xlarge,或搭载H200的ml.p5e.48xlarge、ml.p5en.48xlarge;NVFP4可使用搭载NVIDIA B200的ml.p6-b200.48xlarge。AWS提醒需确认所选检查点、运行时与并行布局支持所选实例类型。

上线时Beam在Amazon SageMaker JumpStart中于美国东部(弗吉尼亚北部)和美国东部(俄亥俄)可用。使用前提包括:具备所选部署路径权限及配套IAM、网络和存储资源的AWS账号;可通过SageMaker JumpStart或Hugging Face上的Beam 1.0检查点仓库获取模型;接受模型条款;安装AWS CLI和Python 3.11或以上版本;以及支持所选Beam配置的GPU配额与容量。

AWS建议先计算单副本的权重、KV缓存和运行时开销所需内存,再用负载测试确认估算;选择支持所需加速实例的区域,检查所选实例类型的服务配额与可用容量,为镜像传输、权重下载、分片加载和运行时初始化预留时间。

  • FP8实例:搭载H100的ml.p5.48xlarge,或搭载H200的ml.p5e.48xlarge、ml.p5en.48xlarge。
  • NVFP4实例:搭载B200的ml.p6-b200.48xlarge。
  • JumpStart上线区域:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)。
  • 需要Python 3.11以上、AWS CLI,以及GPU配额与容量。

部署、测试与清理

对于JumpStart实时端点,AWS给出示例仓库中的一条命令,通过 --variant参数选择BF16、FP8或NVFP4,执行有界的部署、调用和清理生命周期;省略 --variant时默认NVFP4。示例的README和Python文件是支持的实例类型、请求schema、部署命令和清理命令的说明来源。

对于HyperPod,AWS示例提供JumpStart、SGLang、vLLM三种部署配置,以及validate、deploy、smoke等命令。AWS建议用不可变输入保证部署和性能结果可复现,例如使用部署示例中记录的JumpStart模型版本;自定义运行时则保留公开的Beam commit SHA和镜像摘要。只有在集群无法拉取上游镜像或组织要求使用已批准注册表时,才把发布的镜像镜像到私有的Amazon ECR仓库。

测试方面,AWS建议用重复且有代表性的编程和工具调用请求,在预期并发下测试每条服务路径,记录Beam模型版本、镜像摘要、实例类型、精度、上下文长度、并行方式、服务参数、缓存状态和测试重复次数,并测量请求成功率、首token的p50与p95延迟、每输出token时间、端到端延迟和每秒总输出token数,再据此调整批量大小、KV缓存分配、副本数、自动扩缩容以及模型和镜像缓存。改变精度或量化后需重新检查输出质量。

测试结束后,AWS建议按示例README中的说明清理资源以避免持续计费,包括删除为演练创建的专用HyperPod或Amazon EKS集群,以及不再使用的缓存权重、镜像产物、负载均衡器、日志组、临时IAM角色和捕获的推理数据。

  • 示例仓库:sagemaker-genai-hosting-examples。
  • JumpStart路径按 --variant选择BF16、FP8、NVFP4,默认NVFP4。
  • HyperPod路径支持JumpStart、SGLang、vLLM,提供validate、deploy、smoke命令。
  • 测试需记录版本、镜像摘要、实例类型、精度、上下文长度、并行、缓存状态与重复次数。

信息来源