开源llama.cpp Releases·原文 2026年11月12日

llama.cpp发布b12317:OpenCL新增Q4_0非MoE二进制GEMM内核

该项目在b12317版本的更新中为OpenCL后端加入针对A7的Q4_0非MoE二进制内核kernel_gemm_noshuffle_q4_0_f32_32b_trans_ila_a7_bin(#30947),并附上各平台预编译包下载列表。

AI解读:该内核限定在Q4_0量化、非MoE路径、A7相关实现范围内,发布说明未给出性能数据或适用设备清单细节。

随版本提供macOS、iOS、Linux、Android、Windows等多平台预编译包,其中macOS Apple Silicon的KleidiAI版本与openEuler相关包标注为DISABLED。

llama.cpp发布b12317版本。据其GitHub Releases页面,本次主要代码变更为OpenCL后端新增二进制内核kernel_gemm_noshuffle_q4_0_f32_32b_trans_ila_a7_bin(PR #30947)。

发布说明对该改动的描述为“add A7 Q4_0 non-MoE binary kernel”,其后包含一次重构,共同作者列为Li He。

新增内核的范围

从提交说明看,新增内核面向Q4_0量化格式,且明确标注为非MoE(non-MoE)路径,名称中还带有A7标识。发布说明未展开其具体实现细节、支持设备或测试结果。

该条目位于releases页面顶部变更摘要,其余内容为各平台预编译产物的下载链接列表。

  • 内核名:kernel_gemm_noshuffle_q4_0_f32_32b_trans_ila_a7_bin
  • 所属后端:OpenCL
  • 量化格式:Q4_0
  • 路径限定:非MoE
  • 关联PR:#30947

随版本提供的预编译包

b12317同时发布了覆盖多个平台的预编译产物,包括macOS的Apple Silicon(arm64)与Intel(x64)、iOS XCFramework,Linux下的Ubuntu x64/arm64、s390x、Vulkan、CUDA 12.8与 13.5、ROCm 10.0、OpenVINO、SYCL,Android arm64(含Snapdragon版本),以及Windows的CPU、CUDA 12.4/13.5、Vulkan、OpenVINO、SYCL、ROCm 10.0等构建。

  • macOS Apple Silicon(arm64)KleidiAI版本标注DISABLED
  • openEuler相关构建标注DISABLED
  • Linux arm64 Snapdragon包包含CPU、Adreno GPU、Hexagon NPU支持说明
  • 另提供独立UI包

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观