开源diffusers Releases·原文 2026年10月23日

Hugging Face Diffusers 0.42.0发布:新增FLUX.3、Fibo 2.0、Kandinsky 6,要求Python 3.11起

Hugging Face的Diffusers库发布 0.42.0 版本,新增Black Forest Labs的FLUX.3 Image Klein、Bria Fibo 2.0、Kandinsky 6、SANA-WM和Baker Lab与NVIDIA的RFD4-Proteína等模型集成,同时调整适配器、硬件支持和模块化管线,并停止支持Python 3.10。

AI解读:Diffusers 0.42.0新增五个模型集成:FLUX.3 Image Klein支持文生图与多参考图编辑,并通过ModularPipeline提供基础与步数蒸馏checkpoint;Bria Fibo 2.0支持结构化JSON提示词生图及最多五张参考图编辑;Kandinsky 6支持文或参考图生成带同步音频的视频,另有超分管线;SANA-WM支持按相机轨迹从起始图生成视频;RFD4-Proteína支持蛋白质序列与全原子结构联合生成。

这次发布把Python最低版本提高到 3.11,安装前需先升级。模块化潜在输出方面,FLUX、Krea 2和LTX-Video改为在核心去噪组中解包潜在表示,自定义工作流需向解码块传入解包后的潜在表示;打包潜在表示的旧回退路径将在 0.47.0 移除。

其他新增包括Qwen-Image 2.1的模块化管线与张量并行、TorchTPU和Intel XPU的张量并行支持、Z-Image与FLUX.2/Klein的LoKr适配器、LTX-2的motion_speed控制、48 kHz音频自编码器KVAE-Audio,以及MagCache对FLUX.2的支持。huggingface_hub的兼容范围改为 >=1.32.0,<3.0。

本版包含若干适配器与管线修复,例如Z-Image在joint_attention_kwargs中遵循LoRA缩放、Qwen-Image对lora_A/lora_B checkpoint应用 .alpha缩放、FlowMatchEulerDiscreteScheduler保留显式时间步,以及InpaintProcessor.preprocess在无掩码时保持三值返回。

Hugging Face的Diffusers库发布 0.42.0 版本,新增FLUX.3 Image Klein、Bria Fibo 2.0、Kandinsky 6、SANA-WM和RFD4-Proteína五个模型集成,并停止支持Python 3.10,要求Python 3.11或更新版本。

发布说明由Diffusers维护者sayakpaul发布在GitHub Releases页面,更新内容还包括Qwen-Image 2.1的模块化管线与张量并行、LoKr适配器、TorchTPU与Intel XPU硬件支持以及多项适配器与管线修复。

新模型集成

FLUX.3 Image Klein来自Black Forest Labs,支持文生图和带一张或多张参考图的编辑。基础和步数蒸馏checkpoint都通过ModularPipeline提供,集成包含提示词上采样器,可将简短请求扩写为详细描述,并支持用边界框指定布局;同时支持单文件transformer加载和BFL FP8r、NVFP4 checkpoint。

Bria Fibo 2.0通过BriaFibo2Pipeline支持从结构化JSON描述生成图像,以及使用最多五张参考图进行编辑。集成包含dev checkpoint和edit-turbo checkpoint,后者以四步运行且不使用无分类器引导(classifier-free guidance)。发布说明还提到包含文生图和图像编辑的LoRA加载与DreamBooth LoRA训练示例。

Kandinsky 6通过Kandinsky6TI2VAPipeline从文本或参考图生成带同步音频的视频,另有Kandinsky6SRPipeline提供视频超分辨率。集成支持Pro和Lite生成checkpoint,包括蒸馏变体,并为蒸馏模型引入PiflowScheduler。

SANA-WM从起始图像、文本提示词和相机轨迹生成视频。用户可以用显式位姿或WASD/IJKL动作字符串控制相机,之后可选地用独立的LTX-2 refiner优化输出。

RFD4-Proteína来自Baker Lab和NVIDIA,将生物分子设计引入Diffusers:它联合生成蛋白质序列和全原子结构,并以结合靶点、基序或配体等分子上下文为条件。集成包含管线、transformer、自编码器、调度器和LoRA加载;模型输入准备和CIF文件写入使用单独的rfd4-proteina-prep包。

兼容性与弃用

Python 3.10支持被移除,安装前需升级到Python 3.11或更新版本。

模块化潜在输出方面,FLUX、Krea 2和LTX-Video现在在各自的核心去噪组中解包潜在表示。自定义工作流应将解包后的潜在表示传给解码块;打包潜在表示的回退路径已弃用,计划在 0.47.0 移除。

huggingface_hub的支持范围改为 >=1.32.0,<3.0。此外,安装低于 0.15 的TorchAO不再导致模型导入失败,但TorchAO量化仍要求 0.15 或更新版本。

其他更新与修复

Qwen-Image 2.1新增模块化管线并支持张量并行。TorchTPU集成覆盖eager执行、torch.compile和张量并行,张量并行同时新增Intel XPU支持。

适配器方面,新增Z-Image与FLUX.2/Klein的LoKr(LyCORIS Kronecker积)适配器加载。LTX-2新增motion_speed,可独立于播放帧率控制位置时间基;发布说明建议在远离默认速度时使用兼容适配器,例如LTX-2.5慢动作控制LoRA。KVAE-Audio的AutoencoderKLKVAEAudio增加 48 kHz音频编解码。MagCache现在支持FLUX.2。

修复包括:Z-Image在joint_attention_kwargs中遵循LoRA缩放,Qwen-Image对lora_A/lora_B checkpoint应用 .alpha缩放,文本编码器正确报告活动适配器;FlowMatchEulerDiscreteScheduler保留显式时间步,Anima文本编码器导出和独立核心去噪得到修复,InpaintProcessor.preprocess在未提供掩码时保持三值返回。

信息来源

diffusers Releases原始来源

更多

新闻专题
外观