开源llama.cpp Releases·原文 2026年10月18日

llama.cpp b11716为Hexagon NPU增加Q1_0和Q2_0量化支持

该版本由llama.cpp仓库的github-actions[bot] 发布,提交说明显示Hexagon后端新增Q1_0、Q2_0两种量化格式支持,并包含HMX矩阵乘路径、分块与向量点积的相应调整。

AI解读:llama.cpp发布b11716版本,主要变更是Hexagon后端新增Q1_0与Q2_0量化支持,对应PR #30122。

提交说明列出:Q1_0权重接入 2D HMX MUL_MAT路径;清理Q1相关门控、泛化分块并移除循环内除法;在developer.md与htp-tensor.h中记录分块格式。

Q2_0部分包括移除过时断言和特殊分支;另修复MUL_MAT_NX对正方形分块的假设,因为Q1/Q2使用非正方形分块。

提交说明还提到若干优化:调整Q1_0布局以降低解包与vrmpy开销,并进一步优化vec_dots;提交由Max Krasnyansky共同署名。

该版本同时提供macOS、Linux、Windows、Android等平台的预编译包,其中Linux arm64与Android arm64各有一个Snapdragon版本标注为包含CPU、Adreno GPU和Hexagon NPU。

llama.cpp发布b11716版本,提交说明显示Hexagon后端新增对Q1_0和Q2_0两种量化格式的支持(PR #30122)。Hexagon是高通骁龙芯片上的NPU,相关预编译包出现在Linux arm64和Android arm64的Snapdragon版本中。

Q1_0与Q2_0在Hexagon后端的具体改动

提交说明逐条列出该PR的改动内容。Q1_0方面,权重被接入 2D HMX MUL_MAT路径;同时清理了相关门控、泛化分块方式,并移除循环内的除法运算。Q2_0方面,新增支持后移除了过时的断言和特殊分支。

分块逻辑上,提交说明提到修复MUL_MAT_NX关于正方形分块的假设,原因是Q1/Q2使用非正方形分块。文档方面,tiled格式被写入developer.md,并更新了htp-tensor.h。

性能相关条目包括:优化Q1_0布局以减少解包与vrmpy开销,进一步优化vec_dots,以及若干展开/取消展开的小改动。提交由Max Krasnyansky共同署名。

发布范围

该版本的下载列表覆盖macOS、iOS、Linux、Android、Windows和UI等构建。与Hexagon直接对应的是Linux arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU)与Android arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU)两个包,各自附有安装说明链接。

发布页同时标注多个平台构建的状态:macOS Apple Silicon的KleidiAI版本标记为DISABLED,openEuler相关构建同样标记为DISABLED。提交说明未给出Q1_0、Q2_0在Hexagon上的性能或精度数据。

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观