llama.cpp b10970发布:HIP后端在CDNA的MFMA设备上改用fp32累加
llama.cpp新构建b10970将fattn-mma在AMD CDNA架构上的矩阵乘加累加器从原精度改为fp32,同时照例放出覆盖macOS、Linux、Windows、Android的预编译产物。
AI解读:这次改动的核心只有一句:llama.cpp的HIP后端在fattn-mma路径上,对支持MFMA指令的AMD CDNA设备改用fp32累加器,对应的PR是 #28576。
受影响的是在AMD数据中心GPU上跑llama.cpp的人,尤其是用ROCm后端做注意力计算的那部分。注意力分数累加精度提高,通常意味着数值更稳,但官方这次没有给出任何速度或精度对比数据,所以别把它当成性能升级来读。
普通用户拿到的是同一批常规构建,覆盖macOS、Linux、Windows、Android以及CUDA、Vulkan、SYCL、OpenVINO、ROCm等后端。想知道fp32累加是否换来更好的输出质量,得自己在CDNA卡上测,发布说明里没有承诺。
llama.cpp发布构建b10970。该版本附带一项HIP后端改动:在支持MFMA的AMD CDNA设备上,fattn-mma路径改用fp32累加器,对应PR #28576。
HIP后端在CDNA的MFMA设备上用fp32累加
发布说明给出的唯一变更描述是“HIP: fattn-mma: use fp32 accumulation on MFMA devices (#28576)”,即fattn-mma在CDNA上使用fp32累加器。
这条描述没有附带基准测试、精度对比,也没有说明对推理速度或输出质量的具体影响。
b10970放出的构建范围
与往常一样,该release页面列出各平台预编译产物链接。
- macOS/iOS:macOS Apple Silicon(arm64)、macOS Intel(x64)、iOS XCFramework;标注KleidiAI enabled的macOS Apple Silicon构建处于DISABLED状态。
- Linux:Ubuntu x64/arm64/s390x(CPU)、x64/arm64(Vulkan)、x64(CUDA 12,含 12.8 库)、x64/arm64(CUDA 13,含 13.3 库)、x64(ROCm 10.0)、x64(OpenVINO 2026.3.1)、x64(SYCL FP32与FP16)。
- Android:arm64(CPU)。
- Windows:x64/arm64(CPU)、arm64(OpenCL Adreno)、x64(CUDA 12,含 12.4 DLL)、x64/arm64(CUDA 13,含 13.3/13.4 DLL)、x64(Vulkan)、x64(OpenVINO 2026.3.1)、x64(SYCL)、x64(ROCm 10.0)。
- openEuler:对应构建被标记为DISABLED;UI单独提供UI包。