AWS介绍SageMaker JumpStart模型部署与评测工作流
AWS官方博客给出一个可复用Python脚本，从SageMaker JumpStart部署模型，用样本提示词测量延迟、输出长度和单请求生成速率，测试结束后删除端点。
AWS机器学习博客发布一篇操作说明，介绍如何在Amazon SageMaker JumpStart中部署模型并用SageMaker Python SDK运行轻量、可重复的性能测试。
文章称SageMaker JumpStart提供一批已经预训练的模型目录；整个脚本分为三步：发现并部署模型、运行样本提示词并测量延迟与输出速率、清理端点。
作者Vamsi Goparaju表示，该工作流适用于受支持的模型和有可用容量的情形，部署时间因模型、实例类型、配额和AWS区域而异。
2026 年新增的发现与部署入口
文章提到SageMaker JumpStart在 2026 年推出两项改进。在Amazon SageMaker AI控制台的Model Hub区域，用户可以浏览SageMaker JumpStart目录、查看示例notebook并直接在SageMaker Studio中打开。
另一项是预配置端点部署选项，提供按低成本和低延迟、通用负载等优先级命名的配置，覆盖一系列生成式AI模型，包括Neuron优化配置。
文章还称新增的深度链接集成支持从Hugging Face模型发现到SageMaker AI部署一步完成。
评测脚本测什么、怎么测
示例脚本对每个样本负载调用endpoint.invoke，记录开始和结束时间计算延迟，并把响应正文解析为文本，按空白字符分词估算输出词数，再计算词数除以延迟得到单请求生成速率。
脚本在print中输出输入、输出、延迟、估算输出词数和估算的单请求输出生成速率，并汇总每条请求的记录。
文中给出的运行示例对一个问题返回约 153 个估算输出词，延迟 9.07 秒，估算单请求生成速率为 16.9 词/秒。文章注明输出词数按空格分词估算。
第三步是删除端点：调用endpoint.delete() 并wait_for_delete，然后打印提示信息。
前置条件与适用范围
文章列出前置条件：需要具备SageMaker AI权限的AWS账户；需要Python 3+并安装SageMaker Python SDK v3。
文章称该模式适用于许多兼容的SageMaker JumpStart模型，但负载格式、所需实例类型、最终用户许可协议（EULA）要求和响应结构可能需要按模型调整。
响应解析函数处理了几种常见的JumpStart文本生成返回结构，包括choices中的message.content或text字段，以及generated_text、output_text、text等字段。
文章建议用一致的测试提示词比较不同模型的延迟、吞吐和输出质量，以选择适合自身负载的模型，并称可在不同模型上尝试该方法以平衡质量、速度和成本。