AWS为SageMaker HyperPod新增工作负载恢复与扩展基础设施检查
AWS称三项新能力分别覆盖训练正确性验证、Slurm挂起任务检测和Kubernetes层故障归因,用于减少无效算力消耗、提高训练有效产出(goodput)。该公司同时说明,训练正确性检查仅验证固定参考负载,不保证用户自有任务收敛。
AI解读:三项新能力针对不同的失效环节:MultiNodeTrainingValidation在实例供给或按需运行时验证GPU能否正确训练;挂起任务检测在Slurm任务运行期间发现停止推进但未退出的作业;Kubernetes资源监控代理持续观察集群,并在任务失败时报告相关Pod与节点。
MultiNodeTrainingValidation仅适用于由Amazon EKS编排的HyperPod集群,且需要受支持的、启用EFA的NVIDIA GPU实例类型,例如ml.p5.48xlarge;跨实例测试要求实例类型一致,因此它不能用于混用异构实例的实例组。
AWS明确说明该检查使用固定参考负载:通过只代表实例能正确训练该负载,并不保证用户自己的训练任务会收敛。它适合在新容量、替换实例和长时间预训练之前运行。
AWS以32台ml.p5.48xlarge、256块H100、任务凌晨1点挂起至9点被发现为例估算:按美东(弗吉尼亚北部)约每小时66美元的按需价格,浪费约16,900美元;若采用15分钟挂起检测规则取消并由Slurm重新排队,成本约530美元。这是该公司基于假设场景的测算,并非已公布的客户实测结果。
挂起任务检测只适用于Slurm集群;在EKS集群上,HyperPod此前已能检测通过HyperPod训练operator运行的任务,Ray Train任务默认具备挂起检测。Kubernetes资源监控代理只报告问题,不重启节点或任务。
AWS称在两节点集群上,完整深度健康检查在生命周期脚本完成后耗时1小时28分钟,其中DCGM四级诊断占大部分时间,两项MultiNodeTrainingValidation测试约增加8分钟;检查完成前实例无法承接工作负载。
AWS于11月发布博客,宣布Amazon SageMaker HyperPod新增工作负载恢复与扩展基础设施检查能力。该文作者为Roy Allela,发布在AWS Machine Learning博客。AWS称这些能力用于更早发现训练任务中的数值错误、挂起任务和Kubernetes层故障,以提高集群用于有效训练的时间占比(goodput)。
AWS将新能力分为三项:MultiNodeTrainingValidation深度健康检查、面向Slurm的挂起任务检测、以及HyperPod Kubernetes资源监控代理。三者的适用集群和运行时机不同。
训练正确性检查:EKS集群、固定参考负载
MultiNodeTrainingValidation面向由Amazon EKS编排的HyperPod集群。HyperPod在供给实例时或用户按需触发时,先在每台实例的全部GPU上运行短时间的Megatron-LM训练(Tiny Megatron测试),再在同类型实例之间通过EFA通信运行同一负载(Megatron测试)。若训练损失变为NaN或无穷大,或训练未在时限内完成,该实例判定失败。
AWS称该检查补充现有InstanceStress和InstanceConnectivity的不足:前者测试GPU、显存、NVLink和EFA等硬件层面的运行状况,后者测试实例间NCCL通信,但两者都不能判断GPU在一起训练时是否算得对。失败实例会被打上标签,若开启自动节点恢复,则会被重启或替换。
使用条件是受支持的、启用EFA的NVIDIA GPU实例类型,且跨实例测试要求实例类型相同。用户可在创建或更新集群时通过OnStartDeepHealthChecks配置启用,也可通过StartClusterHealthCheck API对已有实例按需运行。检查结果写入CloudWatch日志流,并以节点标签形式保留通过或失败状态。
AWS同时说明该检查的边界:它使用固定的参考负载,通过意味着实例能正确训练该负载,不保证用户自己的任务会收敛。
- 适用:EKS编排的HyperPod集群,受支持的EFA NVIDIA GPU实例(如ml.p5.48xlarge)
- 检测内容:训练损失为NaN或无穷大,或训练超时未完成
- 失败处置:打标签,配合自动节点恢复可重启或替换实例
- AWS实测两节点集群:完整深度检查耗时1小时28分钟,两项新测试约增加8分钟
Slurm挂起检测与Kubernetes资源监控
挂起任务检测面向Slurm集群。每台节点上的代理观察任务输出、GPU活动或用户定义的日志模式,发现任务停止推进但未退出时写入CloudWatch事件,并可取消任务以便Slurm重新排队。AWS称该能力可在数分钟内而非数小时内标记挂起任务。在EKS集群上,HyperPod已能检测通过HyperPod训练operator运行的任务,Ray Train任务默认具备挂起检测,因此这项能力主要补充Slurm场景。
HyperPod Kubernetes Resource Monitoring Agent面向EKS集群,以每集群一个Pod运行在aws-hyperpod命名空间,并优先调度到CPU节点。它监控节点状况变化、可分配GPU或EFA设备减少、污点变化、关键基础设施Pod的崩溃循环与重启、必需DaemonSet缺失或滚动更新停滞,以及HyperPodPyTorchJob、Kubeflow PyTorchJob和Kubeflow TrainJob的失败。对于选择启用的任务,它还读取NCCL内置RAS子系统报告通信器状态。
该代理通过Kubernetes事件和CloudWatch结构化日志报告发现,警告事件标记问题、正常事件标记恢复。AWS说明该代理只做报告,不重启节点或任务,因为故障原因可能出在工作负载本身;硬件故障仍由健康监控代理和节点恢复处理,任务重启仍由HyperPod训练operator负责。
- 挂起检测:仅Slurm集群;可取消任务并由Slurm重新排队
- Kubernetes代理:仅EKS集群;每集群一个Pod,不使用GPU容量;只报告不修复
- NCCL通信监控需训练容器使用NCCL 2.24或更高版本,且任务需选择启用