模型AWS Machine Learning·原文 2026年11月19日

AWS在SageMaker Studio上线JumpStart模型排行榜,同法测评70余款模型

AWS称该排行榜在SageMaker Studio内并排展示JumpStart基础模型的质量、速度与成本,首批覆盖Meta、Google、Qwen、IBM、Arcee等厂商的70多个模型,评测由AWS自行执行。

AI解读:质量分数来自BIG-Bench Hard、GPQA Diamond、MMLU-Pro三项公开基准,由AWS用同一评测框架和设置统一运行;性能与成本则通过向各JumpStart部署配置的端点发送标准化测试负载测得。

榜单提供用例配置与优化目标两个菜单:用例配置默认Max Context,只影响性能与成本指标;优化目标默认Balanced,可选成本、延迟、吞吐优化,对应不同部署配置。

AWS说明成本估算仅含SageMaker实例按需小时价,不含数据传输、存储、推理组件费用及预留实例等折扣,实际账单会有差异。

AWS建议先按许可证、模态等硬性条件过滤,再把榜单用于圈定候选模型,最终需用自己的数据和提示词测试两三个候选模型,接近的分数应视为平局。

AWS发布了Amazon SageMaker JumpStart Model Leaderboard,在SageMaker Studio内并排比较JumpStart基础模型的质量、速度和成本。该排行榜是JumpStart基础模型页上的一个新视图,与Categories、All models并列,打开后默认显示大语言模型排行,无需先回答问题完成设置。

AWS称首批覆盖70多个模型,提供商包括Meta、Google、Qwen、IBM和Arcee,后续会继续增加。以上信息来自AWS官方博客,作者为Dan Ferguson等AWS员工。

三项基准与统一评测方法

排行榜分别展示三项推理基准的分数,不合并为单一数字:BIG-Bench Hard测多步推理任务,GPQA Diamond为难以靠网络搜索回答的研究生水平科学题,MMLU-Pro为覆盖科学、法律、工程等学科的较难选择题。三项均为分数越高越好。

AWS表示,公开基准分数常由不同团队在不同提示词、设置和硬件下产生,难以直接比较。因此AWS对所有上榜模型使用同一评测框架和设置运行基准,性能与成本则通过向每个JumpStart部署配置的端点发送标准化测试负载测得。

  • 质量分数对每个用例配置相同,切换配置不改变基准分
  • 榜单未覆盖的模型不表示能力弱,AWS称只是尚未完成评测
  • 推理模型与非推理模型使用不同生成参数,GPQA Diamond对推理模型取10次运行的平均值,两类模型之间的比较是近似值

性能与成本数字怎么切换

榜单上方有两个菜单。用例配置菜单默认选中Max Context,用于选择最接近自身工作负载的场景,只影响性能与成本列。优化目标菜单默认选中Balanced,对应估算每token成本最低的配置;还可选Cost optimized(每小时实例价最低)、Latency optimized(首token时间最短)和Throughput optimized(吞吐最高),后几类配置可能使用推测解码。

显示的指标包括首token时间TTFT、每请求吞吐(tokens/s)和实例成本($/hr)。AWS提醒,每个指标只对被测的那个部署配置成立,部署时应选择与比较时相同的用例和优化目标,换配置会改变质量、延迟、吞吐和成本。

  • 成本估算仅按配置默认实例类型的按需小时价计算SageMaker实例费用
  • 不含数据传输、存储、推理组件费用,也不含Reserved Instances或Savings Plans等折扣
  • AWS建议用AWS Pricing Calculator估算实际账单

AWS给出的使用示例与限制

博客用一个内部help desk助手示例说明用法:按商用许可证过滤、选延迟优化后,三个候选模型中大模型知识分最高但成本最高、首响应最慢,中型模型分数接近且跑在更便宜的实例上;对help desk场景,AWS认为中型模型是更好的起点。

AWS将榜单定位为圈定候选名单的工具,而非最终决定依据,建议对前两三个模型用自己的数据和提示词评测后再上生产;分数接近时应视为平局,因为差异可能落在正常运行波动范围内。

  • AWS称正在探索私有hub支持、目标检测、文本嵌入和图像理解等更多任务榜单
  • 首批基准聚焦LLM文本生成

信息来源

更多

新闻专题
外观