开源llama.cpp Releases·原文 2026年9月26日

llama.cpp b11194为OpenCL增加A8 Q8_0非MoE dp4a二进制内核

llama.cpp发布第b11194号版本,主要变更是合并PR #29439,在OpenCL后端加入针对非MoE模型的A8 Q8_0 dp4a二进制内核,并附各平台预编译产物下载。

AI解读:这次更新只做了一件具体的事:llama.cpp的OpenCL后端多了一个A8激活、Q8_0权重、非MoE的dp4a二进制内核,对应PR #29439。dp4a是整数点积指令,能用来加速低比特量化推理,q8_0是权重格式,A8是激活量化位宽。

从归属看,这是llama.cpp的常规滚动版本,由GitHub Actions机器人自动发布。受影响的是在OpenCL后端上跑量化模型的用户,尤其是Adreno GPU设备,因为预览里给出了Windows arm64 OpenCL Adreno和Snapdragon平台的产物。普通CPU或CUDA用户这次没有对应变化。

是否值得升级,要看自己是否在用OpenCL后端、是否跑的是非MoE的Q8_0模型。

llama.cpp发布b11194版本,发布说明中的唯一变更条目是“opencl: add A8 Q8_0 non-MoE dp4a binary kernel (#29439)”,即在OpenCL后端新增一个A8 Q8_0非MoE的dp4a二进制内核。

该版本由github-actions[bot] 发布,属于llama.cpp的构建版本。发布页同时给出各平台预编译产物的下载链接,包括macOS(Apple Silicon arm64、Intel x64)、iOS XCFramework、Ubuntu(x64、arm64、s390x,以及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4、SYCL FP32/FP16等变体)、Android(arm64 CPU与Snapdragon版)、Windows(CPU x64/arm64、OpenCL Adreno arm64、CUDA 12.4/13.4、Vulkan、OpenVINO 2026.4、SYCL、ROCm 10.0)以及UI包。

发布页还提供Snapdragon平台在Linux和Android上的安装指南链接。macOS Apple Silicon的KleidiAI版本与openEuler相关产物在本次发布中标记为DISABLED(分别关联PR #23780 和PR #23705)。

以上事实来自发布页摘要,未包含该内核的性能数据或测试结果。

本次变更与OpenCL相关产物

变更条目明确限定范围为OpenCL后端的A8 Q8_0非MoE dp4a二进制内核,未提及其他后端或模型结构支持。

发布产物中与OpenCL直接相关的包括Windows arm64(OpenCL Adreno)以及Linux arm64 Snapdragon(CPU、Adreno GPU、Hexagon NPU),Android版也提供Snapdragon(CPU、Adreno GPU、Hexagon NPU)产物。

  • 唯一变更:opencl: add A8 Q8_0 non-MoE dp4a binary kernel (#29439)
  • 发布者:github-actions[bot]
  • OpenCL相关平台:Windows arm64 OpenCL Adreno、Linux arm64 Snapdragon、Android arm64 Snapdragon
  • macOS Apple Silicon KleidiAI版与openEuler产物标记为DISABLED

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观