开源diffusers Releases·原文 2026年11月12日

Diffusers 0.43.0发布:新增五个模型集成,MiniMax-H3支持张量并行

Hugging Face的diffusers发布 0.43.0 版本,新增MiniMax-H3-Image、Pika H3 Flex、P-H3-Image、Kandinsky S2V 1.0和PAN 2五个模块化模型集成,并修复注意力后端、LoRA、检查点保存等问题。

AI解读:MiniMax-H3-Image支持文生图和一张或多张参考图编辑,固定六步采样并使用蒸馏引导,另有独立的提示词增强工作流。

Pika H3 Flex基于MiniMax-H3在六步内生成视频与同步立体声音频,支持文本、首尾帧和多模态参考;P-H3-Image来自Pruna AI,支持最多八张输入图的指令编辑,采用八步采样。

Kandinsky S2V 1.0用参考图和语音录音生成人物全身动作视频,按五秒分段并在段间传递FramePack记忆。

PAN 2是以 29B生成式模拟器集成的文生视频/图生视频工作流,支持上下文并行和多种缓存,提示词与视频安全检查默认开启,需单独安装pan2-guardrail。

其他改动包括MiniMax-H3张量并行、AMD RDNA4的aiter_sage_hub注意力后端、注意力后端不再跨模型泄漏、LoRA修复,以及依赖版本检查开始强制最低版本(torch>=2.6、transformers>=4.41.2)。

Hugging Face的diffusers发布 0.43.0 版本,新增五个模块化模型集成,分别用于图像生成与编辑、带音频的视频生成、语音驱动动画和世界模拟。发布说明由sayakpaul撰写,同时列出注意力后端、张量并行、LoRA处理与检查点保存方面的多项修复。

五个新增模型集成

MiniMax-H3-Image支持文生图和一张或多张参考图编辑,包含专用图像transformer和autoencoder,采用固定六步采样并配合蒸馏引导。另有一个独立的提示词增强工作流,可扩展简短请求并建议宽高比;通过ModularPipeline.from_pretrained(...) 加载后再调用load_components(...)。

Pika H3 Flex基于MiniMax-H3,在六步内生成视频和同步立体声音频,支持文本提示、首帧和/或尾帧,以及通过独立模块化工作流提供的多模态参考。集成包含LoRA适配器加载,文档还说明如何在两个管道间共享已加载的MiniMax-H3组件。

来自Pruna AI的P-H3-Image支持文生图和基于指令的编辑,最多接受八张输入图。其模块化管道包含把请求转成详细生成或编辑提示的词上采样器、图像autoencoder和文本连接器,检查点采用八步采样与蒸馏引导。

语音驱动动画与场景模拟

Kandinsky S2V 1.0从参考图和语音录音生成人物动画,包括与语音对齐的全身动作。它按五秒一段生成视频,段间传递FramePack记忆;语音本身提供音轨,模型只生成画面。模块化集成支持Lite和Pro检查点,包括使用PiflowScheduler、默认 16 步的蒸馏变体。

PAN 2根据描述随时间变化的动作和镜头运动的提示词模拟场景,本次以文生视频和图生视频模块化工作流集成其 29B生成式模拟器。它支持上下文并行以及FirstBlockCache、MagCache、TaylorSeer缓存;提示词和视频安全检查默认开启,需要单独安装pan2-guardrail包。发布说明称集成覆盖模拟器本身,负责编写提示词的独立推理模型从模型文档链接过去。

其他修复与兼容性变化

MiniMax-H3加入张量并行,可将transformer及其大型调制投影切分到多设备,张量并行加载时复制的参数保持原定dtype。AMD方面新增aiter_sage_hub注意力后端,为RDNA4 gfx1201 GPU提供Hub托管的SageAttention内核,并对不支持的输入形状回退到原生SDPA。

修复项包括:在一个模型上选择注意力后端不再改变无关模型的后端;各注意力模块在选择后端时检查要求并下载Hub内核;FlashAttention-2集成兼容更新的Hub内核版本。LoRA方面,组件权重字典可正确广播到多个适配器,Kohya文本编码器LoRA保留各模块的alpha值。save_pretrained() 在把分片检查点替换为单文件检查点时,会保留其他变体的分片并移除过期索引。

兼容性方面,可用性检查开始强制支持的最低依赖版本,低于最低版本的已安装包被视为不可用并提示升级,例如torch>=2.6 和transformers>=4.41.2。latent upscaler和条件嵌入器迁至diffusers.models下,旧检查点仍可加载,旧的管道模块导入被弃用,将在 1.0.0 移除。传入None会保留该值,省略的输入则取第一个读取它的模块的默认值。 --max_grad_norm现在在受影响的LoRA示例中生效,梯度超过裁剪阈值的训练表现可能与旧版本不同。

信息来源

diffusers Releases原始来源

更多

新闻专题
外观