AWS发布SageMaker AI多轮强化学习指南：以Wordle为例，一次训练约 339 美元
AWS机器学习博客发布操作指南，介绍如何使用Amazon SageMaker AI的多轮强化学习（MTRL）训练智能体。文中以Wordle为示例：在默认推理强度下，gpt-oss-20b在留出词上的解出率从 61% 升至 84%；在训练所用的低推理强度下，从 15% 升至 69%，训练token费用约 339 美元。
AI解读：AWS博客称，MTRL训练模型依据整段多步任务的结果，而不是逐步标注的正确轨迹。SageMaker AI负责训练任务和策略模型，Amazon Bedrock AgentCore承载智能体、环境和奖励函数；训练时，服务每执行一次rollout，就调用一次AgentCore运行时。
按博客所列，MTRL目前支持Nova 2 Lite、GPT-OSS-20B（美东弗吉尼亚、美西俄勒冈）、Gemma 4 31B和Qwen 3.6 27B（仅美西俄勒冈），均以LoRA适配器训练。作者称选择GPT-OSS-20B是因为其每token价格最低，且可按请求控制推理强度。
示例运行 100 步，在 12 小时 40 分钟内完成 105,486 次rollout，消耗 4.916 亿prefill、1.597 亿sample、6.433 亿train token，按美东弗吉尼亚标价合计约 338.50 美元；AgentCore运行时另计约 79 美元。作者称train维度占总费用约 68%，并随轨迹长度增长。
博客给出若干操作限制：AgentCore运行时与训练任务必须同区域，CreateJob拒绝跨区域运行时ARN；训练任务角色的信任主体是job.sagemaker.amazonaws.com，而非sagemaker.amazonaws.com；训练期间重新部署智能体会导致整个任务失败。
AWS机器学习博客发布一篇操作指南，介绍Amazon SageMaker AI上的多轮强化学习（MTRL）。该功能用整段任务结束时的单一奖励信号训练模型，作者Daniel Quang以Wordle游戏走通从部署智能体、准备数据、训练到评估的完整流程。
按文中示例，gpt-oss-20b在 100 步训练后，对留出词（未参与训练的词）的解出率从 61% 升至 84%（默认推理强度）；在训练所用的低推理强度下，从 15% 升至 69%。训练token费用约 339 美元。
训练机制与适用场景
博客解释，监督微调为单个提示提供更优答案，但智能体任务是一串相互依赖的动作，通常没有唯一正确轨迹，只有整段任务是否成功这一可靠反馈。MTRL不要求指定正确轨迹，只要求定义如何给结果打分。
在示例中，SageMaker AI每次rollout调用部署在AgentCore上的智能体，Strands智能体通过SageMaker Job Runtime的OpenAI兼容端点调用正在训练的策略模型，最多猜六次；游戏结束后返回一个奖励，Group Relative Policy Optimization（GRPO）据此更新LoRA适配器。
作者说，Wordle仅作教学示例，前沿模型已能玩得很好；实际用途是让小型低成本模型胜任特定的多步业务任务，例如公共模型未训练过的内部工作流。文中还称，数据集、智能体和训练后的模型保留在用户自己的AWS账户内，不用于训练基础模型。
- 数据集每行只有任务，没有目标回复、对话记录或标签；Wordle示例每行只包含一个秘密单词。
- 奖励以结果为主：解出得 1.05–1.55（按速度），失败得 -0.5，未做出任何有效猜测得 -1.5，另有小幅塑形项。
- 作者称训练期间不应重新部署智能体，否则运行时会重启，整个任务失败。
支持的模型、区域与计费
博客列出的支持模型与区域为：Nova 2 Lite（美东弗吉尼亚、美西俄勒冈）、GPT-OSS-20B（美东弗吉尼亚、美西俄勒冈）、Gemma 4 31B指令微调版（仅美西俄勒冈）、Qwen 3.6 27B（仅美西俄勒冈）。作者提醒以MTRL文档的当前列表为准。
服务按三个维度计费：prefill（策略模型处理的输入token，多轮任务中随每轮重读历史而累积）、sample（生成的token，含推理token）、train（反向传播中更新LoRA适配器处理的token）。用户不选择实例或集群规模。
作者给出的示例账单：prefill 491,616,806 token计 58.99 美元，sample 159,737,098 token计 47.92 美元，train 643,308,554 token计 231.59 美元，合计 338.50 美元。用于测试的AgentCore运行时按vCPU和内存单独计费，此次约 79 美元。
- 训练任务和AgentCore运行时必须在同一区域，CreateJob会拒绝跨区域的运行时ARN。
- 训练任务角色需信任job.sagemaker.amazonaws.com，并同时允许sts:AssumeRole和sts:TagSession；使用通用主体会导致“Could not assume role”。
- 需要botocore 1.43.37或更高版本，这是包含AgentRFT CreateJob操作的首个版本。
- 必须配置MLflow应用，训练指标和验证结果写入其中。
训练结果与评估方式
作者称，训练奖励在前 15 步升至约 +0.57 后保持平稳；验证解出率在前 10 步从 2% 升至 31%，随后在 35% 至 48% 之间波动。作者认为 128 个验证词的波动主要是噪声，并表示未测试更多步数在服务设置下是否有帮助。
评估任务通过同一AgentCore运行时和奖励函数运行，可设置温度，并把eval/reward/pass_at_1记录到MLflow。作者称，与训练中的验证相比，评估时温度可设为 0，这是两者结果差异的一个来源。
博客展示了训练后模型的一局记录：在答案为PASTE时，模型依次猜CRANE、ALIVE、HASTE、PASTE，第四次猜中并保留了绿色字母位置。作者以此说明模型学到了策略，但该展示是单局示例。
- 验证集 128 个词与训练集 640 个词无重叠，用于衡量泛化。
- 示例把sampling_max_tokens调至 8192（服务上限），因默认 4096 时常在推理阶段耗尽token、尚未发起首次工具调用。
- 默认允许同时运行一个评估任务。