开源llama.cpp Releases·原文 2026年10月10日

llama.cpp发布b11540:SYCL后端加速MXFP4 MoE推理

llama.cpp新构建b11540的发布说明显示,该版本通过SYCL后端为MXFP4量化的MoE模型加入算术解码与权重重排优化,相关改动为PR #29809,同时提供macOS、Linux、Windows、Android等多平台预编译包。

AI解读:据发布说明,这项优化针对SYCL后端下MXFP4量化的MoE(混合专家)模型推理。

发布说明只给出改动标题和构建产物,没有列出吞吐、延迟或精度等具体评测数据,因此加速幅度、对哪些模型生效以及是否需要特定权重格式,均无法从该来源确认。

该版本提供多平台预编译包,包括macOS Apple Silicon/Intel、iOS XCFramework、Ubuntu x64/arm64/s390x、Windows x64/arm64、Android arm64,并覆盖Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL FP32/FP16等后端;其中macOS的KleidiAI启用版标注为DISABLED,openEuler构建也标注为DISABLED。

llama.cpp发布新构建b11540,发布说明中的主要条目为“sycl : accelerate MXFP4 MoE with arithmetic decoding and weight reordering”,对应PR #29809。

发布说明未给出该优化的速度、精度或适用模型范围等数据,仅列出改动标题和各平台预编译产物。

b11540的SYCL优化条目

发布说明将b11540的核心改动记为:在SYCL后端加速MXFP4量化的MoE模型,手段包括算术解码(arithmetic decoding)与权重重排(weight reordering),该改动关联PR #29809。

发布说明未说明该优化适用的具体模型、量化流程或硬件型号,也未提供性能对比数字。

  • 改动标题:sycl : accelerate MXFP4 MoE with arithmetic decoding and weight reordering
  • 关联PR:#29809
  • 涉及对象:SYCL后端、MXFP4量化的MoE模型

随版本提供的构建产物

发布说明列出macOS/iOS、Linux、Android、Windows与openEuler的构建产物。其中macOS提供Apple Silicon(arm64)与Intel(x64)版本及iOS XCFramework;Linux提供Ubuntu x64/arm64/s390x,以及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32与SYCL FP16等版本。

Windows侧提供x64/arm64 CPU、OpenCL Adreno、CUDA 12.4、CUDA 13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0等包;Android提供arm64 CPU和Snapdragon(CPU、Adreno GPU、Hexagon NPU)版本;openEuler条目标注为DISABLED。

  • macOS Apple Silicon(arm64,KleidiAI enabled)标注为DISABLED
  • openEuler条目标注为DISABLED
  • Linux侧另提供Snapdragon(CPU、Adreno GPU、Hexagon NPU)包及设置指南
  • Android侧提供Snapdragon(CPU、Adreno GPU、Hexagon NPU)包及设置指南

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观