AWS用SFT加GRPO把GPT-OSS-20B推理语言准确率从 22% 提到 100%
AWS机器学习博客称，GPT-OSS-20B在多语言测试中常忽略指定语言、改用英语推理；在SageMaker HyperPod上用LoRA先做SFT后接GRPO，推理语言准确率升至 100%，最终答案语言准确率由 62% 提到 70%。
AI解读：AWS博客称GPT-OSS-20B是开放权重推理模型，却倾向于用英语思考：被要求用法语、德语、西班牙语或意大利语推理时，模型会确认指令，但思维链仍用英语。在 50 例多语言推理测试中，基座模型仅在 22% 的情况下用正确目标语言推理。
这 22% 几乎全部来自英语样本：英语 100%，法语 0%，德语 10%，西班牙语 0%，意大利语 0%。
作者在Amazon SageMaker HyperPod上以LoRA对模型做监督微调（SFT），再叠加GRPO，并给出决策规则：模型完全不具备的行为用SFT教，模型偶尔能做对、仍有提升空间的行为再用GRPO优化；若目标行为在基座分布中概率为零，GRPO没有可强化的样本。
GRPO每次为同一提示采样一组回答，把策略推向高于组内平均的回答。组内大多数回答都正确时，相对优势趋近零，梯度过小；作者建议在开跑前先确认pass@k显著高于pass@1。
GRPO带来的提升有限：最终答案语言准确率从 62% 升到 70%。在Qwen2.5-7B对照实验中，多语言任务上GRPO加约 6 个百分点，而在基座已达 90.5% 的GSM8K上没有增益。
AWS机器学习博客发布文章，介绍在Amazon SageMaker HyperPod上对开放权重推理模型GPT-OSS-20B做多语言推理微调。文章称，这组实验把“推理语言是否正确”从 22% 提升到 100%，最终答案语言准确率经GRPO从 62% 提升到 70%。
文章由Mijanur Palash署名，数据为作者自述的实验结果，未提供独立复现。
基座模型的多语言短板
文章称，GPT-OSS-20B被要求用法语、德语、西班牙语或意大利语推理时，会确认指令，但思维链仍用英语输出。作者在 50 个测试样例上评估：10 道数学/逻辑题，覆盖英语、法语、德语、西班牙语、意大利语 5 种语言。
基座模型在 22% 的样例中用正确目标语言推理，且几乎全部是英语样本。分语言看：英语 100%，法语 0%，德语 10%，西班牙语 0%，意大利语 0%。
SFT教缺失行为，GRPO做细化
作者把两种技术区分如下：SFT教模型它不具备的行为；GRPO优化模型已经偶尔能做出的行为。GRPO为每个提示采样一组回答，把策略推向高于组内平均的回答；若期望行为在基座分布中概率为零，可强化的信号很少。
训练数据为HuggingFaceH4/Multilingual-Thinking，含约 949 条训练样本和 50 条验证样本，覆盖英语、法语、西班牙语、德语、意大利语。评估指标有两个：思维链是否用指定语言，最终答案是否用指定语言。
所有微调均使用LoRA。作者称LoRA配置r=8/α=16，可训练参数占比 0.068%；在Qwen对照实验中，GRPO阶段梯度范数为 0.23，每GPU显存约 11.7 GB。
运行环境与硬件
实验跑在Amazon SageMaker HyperPod上，由Amazon EKS编排。GPT-OSS-20B的初始SFT与GRPO使用PyTorch TRL库；Qwen对照实验改用veRL训练器，配合Ray与KubeRay做分布式编排、vLLM做快速rollout生成。检查点与数据集存放在Amazon FSx for Lustre，节点间通信使用Elastic Fabric Adapter（EFA）。
文章列出的硬件为：GPT-OSS SFT使用 4× ml.g6e.12xlarge（16 张L40S 48GB）；Qwen对照使用 2× g6e.48xlarge（16 张L40S）。前置条件包括挂载在 /fsx、名为fsx-claim的FSx for Lustre文件系统，以及可用的NCCL与aws-ofi-nccl多节点栈。
GRPO的收益边界
作者称，SFT把推理语言准确率从 22% 提到 100%，GRPO在此基础上的增量体现在最终答案语言：62% 到 70%。文章把GRPO在这个任务上的现实上限描述为增加 6 到 8 个百分点。
Qwen2.5-7B对照实验用于观察GRPO何时有用：多语言推理任务上增加约 6 个百分点；GSM8K上基座已达 90.5%，GRPO没有带来增益。作者的建议是开跑前检查奖励空间，确认pass@k明显高于pass@1，否则组内相对优势趋近零，难以产生梯度。
文章给出的决策框架是：模型完全做不到的行为用SFT；模型偶尔做对、仍有空间的行为用SFT后再接GRPO；目标行为基座概率为零，或模型已接近峰值准确率时，GRPO帮不上忙。