产品AWS Machine Learning·原文 2026年11月19日

亚马逊SageMaker AI无服务器模型定制新增全参数微调

AWS称,SageMaker AI Serverless Model Customization现已支持Full Fine-Tuning(FFT),用户无需自行配置GPU或分布式训练;AWS用Qwen3-4B在 11 万条代码指令数据上对比了FFT与LoRA,但该博文同时指出FFT并非全面优于LoRA,且对超参数敏感。

AI解读:AWS在博文中称,SageMaker AI Serverless Model Customization新增支持全参数微调(FFT),服务负责计算资源分配与检查点管理,用户只需指定基础模型、数据集和超参数;这是AWS对其托管服务能力的说明。

在AWS自己的实验中,基础模型为Qwen3-4B,数据集为Magicoder-Evol-Instruct-110K的 11 万条代码指令对,按 90/5/5 划分为 9.9 万条训练、5500 条验证和 5500 条测试;训练数据达到 10 万条以上时,FFT在LLM-as-Judge语义正确率上达到 90.0%。

同一批实验中,LoRA在LLM-as-Judge上以 81.5% 略高于FFT的 79.5%;FFT和LoRA在MATH精确匹配上都低于基础模型。AWS据此说明FFT并非普遍更优,选择应基于实验、数据特征和取舍判断。

AWS报告称FFT的效果对超参数敏感:学习率为 2e-5且数据量超过 10 万条属于其观察到的安全区;3 个epoch时LLM-as-Judge正确率为 90.0%,超过 3 个epoch后各变体均下降;学习率不低于 5e-5时,MATH分数降至 2%—3%,MMLU准确率降至 3.6%。

适用对象是拥有足够高质量领域数据、需要深度适配的任务,如专用推理、代码生成或领域语言理解;这些结论来自AWS在特定模型、代码数据集和评测配置下的受控实验,不能直接外推到其他任务或数据规模。

AWS机器学习博客发文称,Amazon SageMaker AI Serverless Model Customization现已支持全参数微调(Full Fine-Tuning,FFT)。用户提交基础模型、数据集和超参数后,由服务端完成计算分配与检查点管理,不需要自行准备GPU、搭建集群或配置分布式训练。

博文用Qwen3-4B基础模型在代码生成任务上对比了FFT与LoRA:数据集为Magicoder-Evol-Instruct-110K的 11 万条指令—回答对,按 90/5/5 分为 9.9 万条训练、5500 条验证、5500 条测试。AWS称,在 10 万条以上训练样本时,FFT在LLM-as-Judge语义正确率上达到 90.0%。

AWS公布的对比结果

AWS在同一套提示、目标和评测代码下比较了两种方法。除LLM-as-Judge外,还使用PRIMECODE文本相似度指标和MMLU通用知识基准。博文称FFT在BLEU、ROUGE-2等维度上的领先更明显,并将这一多维领先归因于全秩优化。

不过,AWS也列出反向结果:在LLM-as-Judge上,LoRA为 81.5%,FFT为 79.5%;FFT与LoRA在MATH精确匹配上都低于基础模型。博文由此写道,FFT并非普遍优于LoRA,选择应依据实验、数据集特征和对取舍的理解。

  • 基础模型:Qwen3-4B;数据集:11 万条代码指令对;训练/验证/测试:9.9 万/5500/5500 条
  • AWS称 10 万条以上训练样本时,FFT的LLM-as-Judge正确率为 90.0%
  • LLM-as-Judge上LoRA为 81.5%,FFT为 79.5%
  • FFT与LoRA在MATH精确匹配上均低于基础模型

超参数与遗忘风险

AWS将epoch数视为“遗忘问题”而非损失曲线问题:训练损失会继续下降,验证集表现也可能正常,但未训练过的能力会退化。按其实验,3 个epoch时LLM-as-Judge正确率为 90.0%,超过 3 个epoch后,所测试的各变体均出现下降。

学习率方面,AWS给出的风险图显示,在超过 10 万条的大数据集上,2e-5是安全区;学习率不低于 5e-5时,MATH分数降至 2%—3%,MMLU准确率降至 3.6%。在通用知识保留上,warmup为 5%、批大小为 8、学习率为 2e-5的配置表现最好。

  • AWS建议FFT学习率 2e-5配合 10 万条以上数据作为安全起点
  • epoch超过 3 后,所测试变体表现下降
  • 学习率不低于 5e-5时,MATH降至 2%—3%,MMLU降至 3.6%
  • warmup 5%、批大小 8、学习率 2e-5的配置在MMLU上保留通用知识最好

使用方式与适用范围

在SageMaker Python SDK中,用户通过SFTTrainer指定training_type;FFT使用TrainingType.FULL,切换为LoRA只需改为TrainingType.LORA,其余代码不变。AWS称,其团队在短时间内跨Qwen3-4B、DeepSeek-R1-1.5B、Nemotron-30B、Gemma-4-26B等基础模型运行了数十次定制实验,单次从提交到评测结果耗时数小时,模型会自动注册为SageMaker Model Registry中的版本化Model Package。

博文将FFT的适用场景描述为任务复杂度和数据规模都较高、且拥有足够高质量训练数据的深度适配,例如专用推理、代码生成或领域语言理解。上述数字均来自AWS在特定模型、代码数据集和评测配置下的实验,博文未给出其他任务或数据规模下的效果数据。

  • FFT在SDK中使用TrainingType.FULL,改为TrainingType.LORA即可切换
  • 服务端负责计算分配与检查点管理,用户无需GPU容量规划
  • AWS称单次实验从提交到评测完成约数小时,模型自动注册为版本化Model Package

信息来源

更多

新闻专题
外观