开源llama.cpp Releases·原文 2026年10月29日

llama.cpp b11971为Adreno GPU增加分块q4_K GEMM

llama.cpp发布b11971版本,OpenCL后端新增面向Adreno的分块q4_K GEMM;提交说明称批量大于 1 时lm_head走分块GEMM,并把dp4a版本拆分到独立文件测试。

AI解读:提交说明称,当batch > 1 时,分块的q4_K lm_head通过分块GEMM执行;该PR还把分块dp4a q4_K GEMM拆到独立文件并增加dp4a测试。

提交由Li He共同署名,提交信息标注Assisted-by: Codex。来源未给出速度、精度或功耗数据。

llama.cpp发布b11971版本,OpenCL后端新增针对Adreno GPU的分块q4_K GEMM(PR #30412)。根据提交说明,这一改动让分块q4_K lm_head在batch > 1 时走分块GEMM路径;同一PR将分块dp4a q4_K GEMM拆分为独立文件,并加入dp4a测试。

改了哪部分OpenCL路径

变更集中在OpenCL后端。提交说明列出两点:当batch > 1 时,分块的q4_K lm_head通过分块GEMM执行;分块dp4a q4_K GEMM被拆分到单独文件,并为此增加dp4a测试。

  • 适用对象:q4_K量化的lm_head,以及OpenCL下的dp4a路径。
  • 触发条件:batch > 1 时分块GEMM才被用于q4_K lm_head。
  • 提交署名:Co-authored-by为Li He,提交信息标注Assisted-by: Codex。

发布物与未给出的信息

b11971同时提供多平台构建包,包括macOS、iOS、Linux、Android和Windows,其中有Snapdragon的CPU、Adreno GPU、Hexagon NPU组合包,以及Windows arm64的OpenCL Adreno包。来源未提供该改动在Adreno上的速度、精度或功耗对比数据。

  • macOS Apple Silicon arm64的KleidiAI构建在来源中标注为DISABLED,openEuler构建同样标注为DISABLED。
  • 来源未说明哪些Adreno型号会从分块GEMM中受益,也未给出批量阈值的上限。

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观