llama.cpp发布b11268:修复Adreno OpenCL下q5_K的get_tensor
该版本的核心改动是给OpenCL后端补上q5_K量化在Adreno gemm_nonshuffle内核上的张量读取修复,同时照例放出覆盖macOS、Linux、Windows、Android的多平台预编译包。
AI解读:llama.cpp发布b11268,这次改的是一个很窄的后端问题:OpenCL后端里q5_K量化张量在Adreno GPU的gemm_nonshuffle内核上读取不正确,修复随本次构建一并合入。
受影响的是在骁龙设备的Adreno GPU上跑OpenCL后端、且使用q5_K量化模型的人。修复针对具体内核路径,不等于OpenCL在Adreno上的整体性能发生变化。
其余内容是该项目的例行构建产物:macOS、Linux、Windows、Android等平台的CPU、CUDA、Vulkan、SYCL、ROCm、OpenVINO等后端预编译包都按惯例更新,普通用户无需为这次修复改变使用方式。
llama.cpp发布构建版本b11268,变更条目为“opencl: fix get_tensor for q5_K adreno gemm_nonshuffle kernel (#29555)”,即修复OpenCL后端中q5_K量化张量在Adreno的gemm_nonshuffle内核上的读取问题。
修复涉及的具体范围
根据发布页信息,本次构建对应的改动是修复OpenCL后端在Adreno GPU的gemm_nonshuffle内核中读取q5_K量化张量的问题,对应的PR编号为 #29555。这一改动只针对该量化类型在该内核路径上的张量读取。
发布页同时列出各平台的预编译产物,包括macOS Apple Silicon(arm64)与macOS Intel(x64)、iOS XCFramework、Ubuntu(x64与arm64的CPU版、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO、SYCL FP32/FP16)、Linux arm64(骁龙平台的CPU、Adreno GPU、Hexagon NPU)、Android arm64(含骁龙版本)、Windows(CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0)以及UI包。
- 变更内容:opencl后端修复q5_K在Adreno gemm_nonshuffle内核上的get_tensor
- 对应PR:#29555
- 发布版本号:b11268