开源Hugging Face Blog·原文 2026年11月19日

Hugging Face博客:272次微调实测显示FLOP估算误差可达12小时

Dharma-AI在Hugging Face博客发布研究预览:用272个生产环境SFT任务对比分析式FLOP估算与机器学习预测器。FLOP基线最优MAE为12.41小时,CatBoost在交叉验证中MAE为1.71小时、中位误差0.51小时;模型仅适用于H200集群的SFT任务。

AI解读:研究对象是Dharma-AI在生产用NVIDIA H200共享集群上运行的272个监督微调(SFT)任务,总计约7,382 GPU小时。

常见FLOP估算在最优MFU设定(30%)下,R²为0.31、MAE为12.41小时、RMSE为20.45小时;扫描MFU从25%到65%都无法消除这一误差。

CatBoost回归器仅用派发前可获得的信息,在分层5折交叉验证中达到R² 0.98、MAE 1.71小时、中位误差0.51小时。其特征包括评估数据量、检查点数量与保存参数量、每GPU负载和微调方式。

作者认为误差来源是FLOP公式只描述优化步:环境搭建、模型下载、分词、周期性评估、检查点上传和结束时的对象存储写入都发生在训练循环之外,且在共享集群上与他人争用网络和存储。

按任务时长拆分,60小时以下的中位绝对误差约1小时或更低;60至175小时的13次运行中位误差升至5.19小时、P90为18.51小时,作者将其归因于长任务样本不足。

作者列出限制:仅覆盖SFT,未包含RLHF、DPO或RLVR;仅使用H200;模型数值不应未经重新训练就迁移到其他GPU代际。论文全文称将发布在arXiv。

Hugging Face博客刊登Dharma-AI的一篇研究预览,用272个生产环境的监督微调(SFT)任务检验“按FLOP算训练时长”到底有多准。作者称,常规FLOP估算在最优MFU设定下平均绝对误差为12.41小时,而他们训练的CatBoost预测器在交叉验证中把这一误差降到1.71小时。

这些任务全部跑在该公司共享的NVIDIA H200集群上,总耗时约7,382 GPU小时,任务时长介于1.6到172.4小时之间,均值23.43小时、中位数15.29小时。作者表示完整论文将发布在arXiv,当前博文是预览。

FLOP公式算不准的幅度

作者给出的FLOP基线沿用常见公式:训练计算量约为6·P·D,再除以GPU数量、峰值算力和模型FLOPs利用率(MFU)。问题在于MFU事前未知,作者称实际任务通常在30%到60%之间。

他们把MFU从0.25扫到0.65,最好的一档是30%,对应R² 0.31、RMSE 20.45小时、MAE 12.41小时;MFU取45%时MAE升至13.01小时,取60%时R²降到0.01。为公平比较,基线已把计划中的评估token计入。

作者还测试了已有分析模型Calculon(Isaev等,SC '23),并扩展其实现以覆盖LoRA、分组查询注意力、融合注意力、bfloat16和SwiGLU。他们称其结果的中位数仅相当于实际墙钟时间的11%,但强调这不否定Calculon作为步级工具的设计用途。

预测器用了哪些派发前信息

作者把端到端时长(从任务拿到GPU到完成,不含排队)作为监督回归问题。所有输入都来自提交时的配置:超参数、数据集大小、模型标识、GPU分配,不使用运行时日志或部分进度。

在原始配置之外,他们派生了一些暴露额外开销的特征,例如整个任务评估阶段处理的样本总数(num_eval_data)、检查点保存次数与保存参数量,以及每GPU的token量。FLOP估算本身以MFU 0.45固定后作为一项特征输入。

他们比较了线性回归、Ridge、XGBoost和CatBoost,经相关性过滤、互信息和置换重要性筛选18组候选特征,再以MAE为准则做网格搜索。最终CatBoost使用24项特征,在分层5折交叉验证中R² 0.98、RMSE 3.52小时、MAE 1.71小时。Ridge的MAE为7.23小时。

评估与检查点开销排在前列

作者报告CatBoost特征重要性中,num_eval_data(任务生命周期内评估处理的样本总数)排第一,其后是num_trainable_params、batch_eval_size_percent、num_all_params和num_gpus*batch_train_percent,num_params_saved紧随其后。SHAP值显示评估量越大预测时长越高。

作者明确说明特征重要性不是因果结论,但称这一模式与任务实际耗时的构成一致:评估频率、评估集大小和检查点保存数量都会影响墙钟时间。

关于GPU数量的解读,作者提醒其数据中更大分配对应更大任务,num_gpus部分充当任务规模的代理,不代表增加GPU会让任务变慢。

误差分布与长任务短板

在全部272个折外预测上,中位绝对误差为0.51小时,80%的预测落在2.20小时内,90%落在4.31小时内。按任务时长分组,1.56至5小时组中位误差0.30小时,5至10小时组0.18小时,10至30小时组0.73小时,30至60小时组1.06小时。

60至175小时的13次运行中位误差为5.19小时、P90为18.51小时,作者将其视为数据量限制。他们称在固定20%留出集上,训练数据从85%增至100%时MAE由1.63小时降至1.50小时,尚未看到明显平台。

适用范围与作者自述的限制

作者列出的限制包括:只覆盖SFT,未包含RLHF、DPO或RLVR;所有运行都使用H200,拟合的模型针对该基础设施校准,未经重新训练不应期待数值上迁移到其他GPU代际;60小时以上的长任务样本太少,误差随之扩大。

作者称可迁移的是方法本身:计入开销的特征、处理多重共线性的特征选择和比较协议。后续计划包括硬件描述符、在其他GPU类型上验证、针对少样本配置的迁移学习,以及更多长任务数据。

信息来源

Hugging Face Blog原始来源

更多

新闻专题
外观