NVIDIA用TensorRT LLM VisualGen优化FLUX 3 Image Klein，单B200生成提速至多 4.45 倍
NVIDIA技术博客报告，在单张B200上对FLUX 3 Image Klein Base应用NVFP4、Sol-Attention与Cache-DiT等优化后，2048×2048 文生图延迟从 22.36 秒降至 6.46 秒，图生图从 54.64 秒降至 12.28 秒，均为与未编译BF16基线相比。
AI解读：在单张NVIDIA B200 GPU、2048×2048 分辨率下，结合编译、NVFP4、PrimsTS GEMM、Sol-Attention和Cache-DiT后，Base模型文生图从 22.36 秒降至 6.46 秒（3.46 倍），图生图从 54.64 秒降至 12.28 秒（4.45 倍），对照组为未编译的BF16 VANILLA推理。博客同时给出LPIPS分数，显示量化和稀疏注意力会改变输出，提速并非无损。
适用对象是以NVIDIA Blackwell数据中心GPU或RTX PRO 6000 Blackwell Server Edition部署FLUX 3 Image Klein的开发者，博客提供了YAML配置和容器命令。数字来自博客所述的特定测试条件，包括固定随机种子、Base用 50 步去噪与CFG 3.5、蒸馏版用 16 步且不启用CFG，不能直接外推到其他GPU或步数配置。
NVIDIA技术博客发布教程，说明如何在TensorRT LLM VisualGen运行时中配置Black Forest Labs的FLUX 3 Image Klein，并给出该模型在NVIDIA Blackwell GPU上的延迟数据。博客称FLUX 3 Image Klein在NVIDIA GB200 NVL72上训练，并针对NVIDIA GPU优化，提供Base与蒸馏两类检查点。
在单张B200、2048×2048 的测试中，博客称对Base模型叠加编译、NVFP4与PrimsTS GEMM、Sol-Attention、Cache-DiT后，文生图端到端延迟由未编译BF16 VANILLA推理的 22.36 秒降至 6.46 秒，图生图由 54.64 秒降至 12.28 秒，分别对应 3.46 倍和 4.45 倍。
测试条件与分项延迟
博客给出的基准在单张B200上进行，分辨率为 2048×2048，使用NVFP4、VANILLA注意力和torch.compile，结果取 10 次请求的平均值，此前执行 2 次预热请求。Base使用 50 个去噪步数和 3.5 的CFG缩放，蒸馏版Klein使用 16 步且不启用CFG。
分项数据：Base文生图总延迟 14.70 秒，其中去噪 14.24 秒，占 96.8%；蒸馏版文生图 2.71 秒，去噪 2.28 秒，占 84.0%；Base图生图 40.29 秒，去噪 39.40 秒，占 97.8%；蒸馏版图生图 7.48 秒，去噪 6.65 秒，占 89.0%。
各项优化的效果与质量代价
在Blackwell GPU上，NVFP4相对BF16带来最多 1.62 倍文生图和 1.58 倍图生图提速。注意力部分，博客称在 2048×2048 NVFP4文生图测试中，VANILLA BF16注意力约占DiT GPU核时间的 60%。
量化注意力方面，cuDNN FP8相对VANILLA BF16注意力提速 1.08 倍（Base）和 1.09 倍（蒸馏版），LPIPS分别为 0.072 和 0.161；VC-Attention FP8提速 1.18 倍和 1.16 倍，LPIPS为 0.086 和 0.151。博客据此建议在B200的 2048×2048 场景使用VC-Attention FP8，配置中修复预算 ρ=0.005。
Sol-Attention在 τ=1.0、Base、2048×2048 下，对去噪加自编码器解码环节带来 1.24 倍（初始 16 个稠密步）或 1.30 倍（12 个稠密步）提速；博客称提高 τ 会降低输出质量且几乎不再提速。Cache-DiT在阈值 0.24 下，1024×1024 时Base提速 1.97 倍、蒸馏版 1.26 倍，LPIPS为 0.038 和 0.036；2048×2048 时提速 1.94 倍和 1.20 倍。
- LPIPS数值越低表示与对应的VANILLA基线输出越接近，上述提速伴随可测量的感知差异。
- 蒸馏版Klein的端到端提速最高为 2.34 倍。
- RTX PRO 6000 Blackwell Server Edition单卡上，编译、NVFP4与CuTe DSL融合核、Cache-DiT合计带来 1.73 至 3.25 倍提速。
多卡扩展与部署入口
多GPU方面，VisualGen对Base按CFG将正负分支分配到不同GPU组，并用Ulysses切分序列；蒸馏版不启用CFG，仅使用Ulysses。在DGX B200上从 1 卡扩展到 8 卡，2048×2048 下Base的文生图中位延迟由 14.90 秒降至 3.00 秒，蒸馏版由 2.73 秒降至 1.08 秒；去噪环节提速更大，分别为 6.01 倍和 4.44 倍。博客称蒸馏版八卡生成时间中仍有约一半在去噪之外，限制了端到端收益。
在 8 张B200、1024×1024 的另一项实验中，加入CUDA Graphs后Base延迟由 1.823 秒降至 0.809 秒，蒸馏版由 0.791 秒降至 0.366 秒。博客提供了预构建容器、离线推理命令、OpenAI兼容的 /v1/images/generations服务端启动方式，以及单卡和多卡YAML配置。博客说明示例不会扩展提示词，报告延迟不含提示词上采样。