开源llama.cpp Releases·原文 2026年9月15日

llama.cpp b10970发布:HIP后端在CDNA的MFMA设备上改用fp32累加

llama.cpp新构建b10970将fattn-mma在AMD CDNA架构上的矩阵乘加累加器从原精度改为fp32,同时照例放出覆盖macOS、Linux、Windows、Android的预编译产物。

AI解读:这次改动的核心只有一句:llama.cpp的HIP后端在fattn-mma路径上,对支持MFMA指令的AMD CDNA设备改用fp32累加器,对应的PR是 #28576。

受影响的是在AMD数据中心GPU上跑llama.cpp的人,尤其是用ROCm后端做注意力计算的那部分。注意力分数累加精度提高,通常意味着数值更稳,但官方这次没有给出任何速度或精度对比数据,所以别把它当成性能升级来读。

普通用户拿到的是同一批常规构建,覆盖macOS、Linux、Windows、Android以及CUDA、Vulkan、SYCL、OpenVINO、ROCm等后端。想知道fp32累加是否换来更好的输出质量,得自己在CDNA卡上测,发布说明里没有承诺。

llama.cpp发布构建b10970。该版本附带一项HIP后端改动:在支持MFMA的AMD CDNA设备上,fattn-mma路径改用fp32累加器,对应PR #28576。

HIP后端在CDNA的MFMA设备上用fp32累加

发布说明给出的唯一变更描述是“HIP: fattn-mma: use fp32 accumulation on MFMA devices (#28576)”,即fattn-mma在CDNA上使用fp32累加器。

这条描述没有附带基准测试、精度对比,也没有说明对推理速度或输出质量的具体影响。

b10970放出的构建范围

与往常一样,该release页面列出各平台预编译产物链接。

  • macOS/iOS:macOS Apple Silicon(arm64)、macOS Intel(x64)、iOS XCFramework;标注KleidiAI enabled的macOS Apple Silicon构建处于DISABLED状态。
  • Linux:Ubuntu x64/arm64/s390x(CPU)、x64/arm64(Vulkan)、x64(CUDA 12,含 12.8 库)、x64/arm64(CUDA 13,含 13.3 库)、x64(ROCm 10.0)、x64(OpenVINO 2026.3.1)、x64(SYCL FP32与FP16)。
  • Android:arm64(CPU)。
  • Windows:x64/arm64(CPU)、arm64(OpenCL Adreno)、x64(CUDA 12,含 12.4 DLL)、x64/arm64(CUDA 13,含 13.3/13.4 DLL)、x64(Vulkan)、x64(OpenVINO 2026.3.1)、x64(SYCL)、x64(ROCm 10.0)。
  • openEuler:对应构建被标记为DISABLED;UI单独提供UI包。

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观