llama.cpp b11741为OpenCL后端新增cooperative-k dp4a GEMM,覆盖q4_0、q4_k和q6_k
该版本发布说明列出三项OpenCL矩阵乘实现改动,并附带一项对齐修复;发布页未给出性能数据。
AI解读:这条解读针对已在或计划在OpenCL设备上运行q4_0、q4_k、q6_k量化模型的人:本次新增的是这三类量化格式的cooperative-k dp4a GEMM实现,其他量化格式不在发布说明列出的范围内。
发布说明只记录代码改动与版本号,没有给出吞吐、延迟或与既有实现的对比数据,因此无法据此判断实际加速幅度,也无法判断在具体GPU上的效果。
该改动随b11741构建一同发布,发布页同时提供macOS、Linux、Windows、Android等多平台二进制包,其中包含Windows arm64的OpenCL Adreno包;下载这些构建即可获得本次改动,无需自行编译。
llama.cpp发布构建b11741,发布说明中的主要改动为:在OpenCL后端为q4_0、q4_k和q6_k三种量化格式新增cooperative-k dp4a GEMM(PR #30741)。
同一PR还包含一项对齐(alignment)修复。发布说明未提供该改动的性能测试结果或前后对比数据。
改动内容与覆盖范围
发布说明按提交拆分列出三项实现:q4_0的cooperative-k dp4a GEMM、q4_k的cooperative-k dp4a GEMM、q6_k的cooperative-k dp4a GEMM,随后是opencl对齐修复。
从标题与条目看,改动位于OpenCL后端,涉及GEMM(通用矩阵乘法)路径,并使用dp4a指令;发布说明未说明支持哪些具体GPU型号或驱动版本。
- PR编号:#30741
- 新增实现覆盖的量化格式:q4_0、q4_k、q6_k
- 附带修复:OpenCL对齐问题
- 发布说明未列出性能数据或兼容设备清单
发布产物
b11741发布页列出多平台预编译包,包括macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm、OpenCL Adreno arm64)、Android arm64以及Snapdragon专用包。
发布页中macOS Apple Silicon的KleidiAI构建和openEuler相关构建标注为DISABLED,未随该版本提供。
- Windows arm64提供OpenCL Adreno预编译包
- macOS KleidiAI构建与openEuler构建在该版本中处于禁用状态
- 发布页同时提供UI包