开源llama.cpp Releases·原文 2026年10月18日

llama.cpp发布b11713:CUDA低比特类型MMVQ提速,并修复HIP下Q3_K/Q6_K小nwarps问题

该版本合并PR #30517,为CUDA后端低比特量化类型提供更快的MMVQ;同一提交还修复了ggml-cuda HIP路径在GCN小nwarps下Q3_K(ncols=2,3)与Q6_K(ncols=4)的问题。发布页同步提供macOS、iOS、Linux、Android、Windows等多平台预编译包。

AI解读:同一提交包含ggml-cuda HIP路径修复:针对GCN小nwarps场景,修正Q3_K(ncols=2,3)和Q6_K(ncols=4)。

发布说明未给出具体加速比例或基准测试数据。

发布页列出macOS Apple Silicon/Intel、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL)、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)、Android及骁龙Linux/Android等预编译包。

部分构建被标注为DISABLED:macOS Apple Silicon启用KleidiAI的版本,以及openEuler的四个包。

本次发布未说明MMVQ改动对哪些GPU架构或量化类型组合生效的具体范围。

llama.cpp发布b11713构建,发布说明列出的主要代码变更为CUDA后端低比特类型的MMVQ提速(PR #30517),同时修复ggml-cuda HIP路径在GCN小nwarps下Q3_K(ncols=2,3)与Q6_K(ncols=4)的问题。

该提交由thelittlefireman共同署名。发布说明未给出提速幅度、基准数据或受影响的GPU架构范围。

预编译包覆盖的平台

发布页按平台列出可下载产物,包括macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework、Ubuntu x64/arm64/s390x(CPU)、Ubuntu Vulkan、CUDA 12.8与CUDA 13.4(含配套CUDA库)、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16,以及Linux arm64骁龙(CPU、Adreno GPU、Hexagon NPU)。

Windows侧提供x64/arm64 CPU、arm64 OpenCL Adreno、CUDA 12.4与CUDA 13.4(含DLL)、Vulkan、OpenVINO、SYCL、ROCm 10.0包;Android提供arm64 CPU与骁龙(CPU、Adreno GPU、Hexagon NPU)包;另有UI包。

被禁用的构建

发布说明中macOS Apple Silicon启用KleidiAI的构建标注为DISABLED,指向PR #23780;openEuler的x86 310p、x86 910b(ACL Graph)、aarch64 310p、aarch64 910b(ACL Graph)四个条目同样标注DISABLED,指向PR #23705。

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观