开源llama.cpp Releases·原文 2026年10月25日

llama.cpp b11858禁止在含MoE amax缩放的架构上使用 -sm tensor

该版本删除了Meta split-state的MIRRORED处置方式,并对构建amax计算图的架构拒绝 -sm tensor参数;原因是amax的POOL_1D归约跨整个矩阵行,按axis-0切分后单设备无法算出完整结果。

AI解读:llama.cpp发布b11858版本,核心变更是对构建MoE amax缩放计算图的架构禁用 -sm tensor参数。

项目给出的技术理由是:amax使用POOL_1D归约并覆盖整个矩阵行,因此设备无法仅凭axis-0切分算出完整归约值。

原先用于Meta split-state的MIRRORED处置被移除,因为它只给每台设备各自切片的局部最大值,不能得到完整结果。

该提交在说明中标注了辅助工具:dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF,运行环境为MacBook M5 Max、128GB内存;这是提交方自述,未经独立验证。

随版本发布的预编译包覆盖macOS(arm64、x64)、iOS XCFramework、Linux(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Android(含Snapdragon CPU/GPU/NPU)、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)以及UI。

部分平台包被标注为DISABLED:macOS arm64的KleidiAI版本关联PR #23780,openEuler系列关联PR #23705。

llama.cpp发布b11858版本。该版本在构建MoE amax缩放计算图(代码标记TAG_MOE_AMAX_SCALE)的架构上拒绝 -sm tensor参数。

为什么禁用 -sm tensor

提交说明给出的原因是:amax使用的POOL_1D归约跨越整个矩阵行,设备无法从按axis-0切分的数据中算出这一归约值。

Meta split-state的相关分支报告了MIRRORED状态,而MIRRORED给每台设备的是各自切片的局部最大值,无法组成完整结果。该分支因此被删除。

  • 变更对象:构建amax计算图的架构。
  • 变更内容:此类架构上 -sm tensor被拒绝。
  • 技术依据:POOL_1D归约覆盖整个矩阵行;axis-0切分无法让单设备完成归约。
  • 被移除的处置:Meta split-state的MIRRORED。

发布产物与受限项

b11858同时发布了各平台预编译包,包含macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework、Ubuntu(x64/arm64/s390x的CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16)、Linux arm64 Snapdragon包、Android arm64(CPU与Snapdragon三后端)、Windows(x64/arm64的CPU、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0)以及UI压缩包。

  • macOS Apple Silicon arm64的KleidiAI版本标注为DISABLED,关联PR #23780。
  • openEuler x86(310p、910b ACL Graph)与aarch64(310p、910b ACL Graph)全部标注为DISABLED,关联PR #23705。
  • 提交说明由github-actions[bot] 发布,辅助工具标注为dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF,运行于MacBook M5 Max、128GB内存。

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观