开源Transformers Releases·原文 2026年10月20日

Hugging Face发布Transformers v5.20.2补丁版,修复generate中多模态输入类型丢失问题

该版本由Cyrilvallez发布,共包含 4 个提交,涉及generate输入字典类型转换、bfloat16下专家梯度、VLM输入模态声明以及eager_mask的主机到设备拷贝。

AI解读:Transformers v5.20.2是一个补丁版本,发布说明列出的主要修复是generate中prepare_inputs_for_generation环节可能丢失部分输入的原始类型,进而影响多模态模型。

该版本包含 4 个提交:修复generate中的输入字典类型转换、修复专家并行且ep_size小于fsdp_size时bfloat16下专家梯度为零、为只报告文本的VLM声明输入模态、避免eager_mask中的一次主机到设备拷贝。

发布说明由Cyrilvallez撰写,仅列出本次修复的提交清单,没有提供受影响版本范围、回归测试结果或性能数据。

上述修复内容来自发布说明本身,属于维护方对变更的说明,未经过独立验证。

Hugging Face的Transformers项目发布v5.20.2补丁版本。发布说明称,该版本主要解决了generate中prepare_inputs_for_generation环节部分输入可能丢失原始类型的问题,这会对多模态模型造成影响。

v5.20.2包含的四个提交

发布说明由Cyrilvallez撰写,列出该补丁版本包含以下提交。

  • Fix inputs dict casting in generate(#49731),作者 @Cyrilvallez。
  • Fix zero expert gradients in bfloat16 with expert parallelism and ep_size < fsdp_size(#49688),作者 @qgallouedec。
  • Declare the input modalities of the VLMs that report text only(#49677),作者 @qgallouedec。
  • Avoid a host-to-device copy in eager_mask(#49684),作者 @hmellor。

发布说明交代的边界

发布说明只说明补丁解决了输入类型丢失问题,并列出其他修复提交,未给出受影响的版本区间、复现步骤或测试结果。因此,上述修复的实际覆盖范围,以及是否会对已有推理流程产生其他影响,需要以项目后续的代码与测试信息为准。

信息来源

更多

新闻专题
外观