SGLang v0.5.22发布:950 个PR,新增DeepSeek-V4.1等一批模型支持
SGLang发布v0.5.22,含 245 名贡献者的 950 个PR,新增Clef、PPLX-Decider、HunyuanImage-3.0-Instruct等模型支持,并称DeepSeek-V4.1在H200上每GPU吞吐最高提升 2.3 倍;升级后需Python 3.11或更高版本。
AI解读:SGLang发布v0.5.22,发布说明称该版本包含来自 245 名贡献者的 950 个PR。
新增模型支持包括Clef / Clef Flash、PPLX-Decider v1 / v1.1、EmbeddingGemma 2、LLaDA2.2;扩散模型包括HunyuanImage-3.0-Instruct、Kandinsky 6 / 6 SR、Wan-Animate-2、SANA-Video 2.0、LLaDA-Image / LLaDA-Image-Turbo。
发布说明称DeepSeek-V4.1在H200上每GPU吞吐最高提升 2.3 倍,并可在AMD MI350X / MI355X上运行,借助DSpark吞吐最高提升 1.9 倍。
发布说明还列出多处性能变化,如InstantTensor加载器使模型加载快 10 倍、PD分离在长prompt负载下吞吐最高提升 27%;这些均为项目方给出的数字,未经独立验证。
导入时需注意:发布说明还提到一项重要修复——混合线性模型在投机解码与结构化输出同时使用时,可能从错误的mamba状态恢复。
SGLang发布v0.5.22。按发布说明,该版本合入 245 名贡献者的 950 个PR,新增多款语言、视觉与扩散模型支持,并给出一批吞吐与延迟数字。发布说明由ch-wan署名。
升级门槛有变化:SGLang现在要求Python 3.11或更高版本。安装命令为uv pip install --prerelease=allow sglang==0.5.22,官方同时提供NVIDIA CUDA 13、AMD MI35x、AMD MI30x、Intel GPU与Intel CPU的Docker镜像。
新增模型与运行环境
发布说明列出的新支持模型包括Clef / Clef Flash、PPLX-Decider v1 / v1.1、EmbeddingGemma 2、LLaDA2.2,类型标注为LLM / VLM。扩散类新增HunyuanImage-3.0-Instruct、Kandinsky 6 / Kandinsky 6 SR、Wan-Animate-2、SANA-Video 2.0、LLaDA-Image / LLaDA-Image-Turbo。
运行环境方面,发布说明称SGLang现在可在Apple Silicon Mac上以标准PyTorch后端运行,与MLX并列;MiniMax-H3和Qwen-Image 2.1可在ComfyUI中通过SGLang Diffusion运行,后者也可加载社区GGUF检查点与LoRA。
发布说明给出的性能数字
发布说明称,DeepSeek-V4.1在H200上每GPU吞吐最高提升 2.3 倍,并可在AMD MI350X / MI355X上运行,借助DSpark吞吐最高提升 1.9 倍。Qwen3.8-Flash-Next在B200上解码快 12%,GLM-5.3-Flash配合DFlash在B300上快 10%。
其他数字包括:MiMo-V2.6-Pro在B300上配合DFlash解码吞吐提升 1.85 倍;InstantTensor加载器使模型加载快 10 倍;PD分离在长prompt负载下吞吐最高提升 27%,p95 TTFT减半;GLM-5.2与GLM-5.3可将解码上下文并行与MTP结合,GLM-5.3解码最高快 2.1 倍。发布说明还提到GLM-5.3-Flash在 8x B300、并发 1 下解码从 1091.9 tok/s提升到 1199.7 tok/s。以上均为项目方公布的测试数字。
一项重要修复
发布说明将一处问题列为重要修复:混合线性模型在同时使用投机解码与结构化输出时,可能从错误的mamba状态恢复。该问题由 @Wirick与Baseten发现,对应PR #43029。