llama.cpp b11811发布:KleidiAI新增Q8_0 SVE dotprod GEMV与SVE i8mm GEMM内核
llama.cpp发布b11811版本,变更项为KleidiAI后端新增两类ARM内核(PR #30808)。发布说明同时列出各平台预编译包;启用KleidiAI的macOS Apple Silicon构建在本次说明中标注为DISABLED。
AI解读:上述内核属于ARM架构相关的量化矩阵运算实现,说明中未给出性能数据或适用模型范围。
发布页同时提供多平台预编译包下载,覆盖macOS/iOS、Linux、Android、Windows、openEuler与UI,后端包括CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL及Snapdragon的Adreno GPU与Hexagon NPU。
发布说明中,macOS Apple Silicon(arm64,启用KleidiAI)条目标注为DISABLED,并链接至PR #23780。
openEuler相关构建(x86/aarch64的 310p、910b ACL Graph)同样标注为DISABLED,链接到PR #23705。
llama.cpp发布b11811版本,发布说明列出的代码变更为KleidiAI后端新增Q8_0 SVE dotprod GEMV和SVE i8mm GEMM两个内核,对应PR #30808。该说明由github-actions[bot] 发布在项目Releases页面。
KleidiAI新增的两种内核
按发布说明,本次变更集中在KleidiAI路径:新增Q8_0的SVE dotprod GEMV内核,以及SVE i8mm的GEMM内核。说明未给出这两类内核的基准测试结果,也未说明它们对推理速度或内存占用的具体影响。
从命名看,二者面向ARM架构的SVE、dotprod与i8mm指令,涉及Q8_0量化格式的矩阵运算;这是对发布说明所写内容的术语解读,来源未进一步展开实现细节。
预编译包与后端覆盖
发布页为b11811提供多平台二进制包,涵盖macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework、Ubuntu(x64/arm64/s390x)、Android arm64、Windows(x64/arm64)以及UI包。
后端选项包括CPU、Vulkan、CUDA 12与CUDA 13(含对应库包)、ROCm 10.0、OpenVINO、SYCL(FP32/FP16),以及面向Snapdragon的Linux/Android构建(CPU、Adreno GPU、Hexagon NPU)。
- Linux侧另列Ubuntu x64与arm64的CUDA 13.4包及库,以及CUDA 12.8的x64包。
- Windows侧CUDA使用 12.4 与 13.4 两组版本。
本次标注为DISABLED的构建
发布说明中,macOS Apple Silicon(arm64,启用KleidiAI)一项标注为DISABLED,并指向PR #23780;这意味着该说明未提供启用KleidiAI的macOS构建下载。
openEuler相关条目(x86 310p、x86 910b ACL Graph、aarch64 310p、aarch64 910b ACL Graph)同样标注DISABLED,链接至PR #23705。