开源llama.cpp Releases·原文 2026年10月16日

llama.cpp b11680发布:Hexagon张量重打包重构,支持平铺与扁平量化权重

该版本由GitHub Actions机器人发布,提交信息显示重构了Hexagon后端的张量重打包规则,新增对Q5_K等k-quant张量的GET_ROWS支持,并将重打包统一改称tiled。发布日志未给出性能对比数据。

AI解读:llama.cpp发布b11680版本,主要变更是Hexagon后端的张量重打包(tensor repacking)重构,提交号 #30635,发布账号为github-actions[bot]。

提交信息列出新增支持:GET_ROWS支持tiled Q5_K、支持原始k-quant张量、支持重打包/平铺F16/F32/BF16二维权重;同时把代码中“repacked”命名统一改为“tiled”。

提交信息注明重构曾破坏K-Quants的GET_ROWS测试,作者表示将在下一轮修复;开发过程中的tiling规则调整一度导致MM(矩阵乘法)损坏,后经修复。

该版本同时提供多平台预编译包,包括Snapdragon的Linux/Android包,覆盖CPU、Adreno GPU与Hexagon NPU后端。

发布日志未提供精度、速度或内存占用的对比数据,也未说明哪些设备或模型从此次改动中受益,因此无法据此判断性能提升幅度。

对使用Hexagon后端的用户,实际可核验的信息是该版本新增了权重平铺与k-quant相关支持;其他后端仅随版本更新,日志中无对应功能变更说明。

llama.cpp发布b11680版本,该版本的提交信息显示,Hexagon后端进行张量重打包(tensor repacking)重构,并加入对平铺(tiled)与扁平(flat)量化权重及浮点权重的支持。

该提交编号为 #30635,由GitHub Actions机器人账号github-actions[bot] 发布到llama.cpp Releases页面。提交者称,重构移除了need_repack相关hack并精简规则,但曾导致K-Quants的GET_ROWS测试失败,并表示将在下一轮修复。

Hexagon后端改动内容

提交信息列举了本次Hexagon相关的改动范围:新增GET_ROWS对tiled Q5_K的支持、支持原始k-quant张量、为F16/F32/BF16二维权重加入重打包与平铺支持,并修复了BF16在测试中泄漏的问题。

命名方面,代码中的repacked统一改名为tiled,涉及标志、函数、内核与变量。向量化与内核层面,提交信息提到对原始k-quant ukernels做向量化、优化hvx-tiled vec_dot_f16、修改多个内核的valid_rows计算,并在新的反量化ukernels中加入尾部处理与清理死代码。

提交信息同时记录了开发过程中的临时状态:重构过程中tiling规则调整曾导致MM损坏,后续在更新后修复了mmid;还提到禁用了一些大型MM测试。

  • 移除need_repack hack,精简规则,但曾破坏K-Quants的GET_ROWS测试,提交者称下轮修复
  • GET_ROWS新增支持tiled Q5_K与原始k-quant张量
  • 新增F16/F32/BF16二维权重的重打包与平铺支持,并过滤测试中泄漏的BF16
  • repacked统一命名为tiled;优化hvx-tiled vec_dot_f16,清理死代码与无用检查
  • 导出GGML_HEXAGON_RT_REPACK环境变量(经run.py);修复hmx-tiled-f16矩阵乘法的精度回归

发布包与适用范围

该版本按惯例附带多平台预编译包。与Hexagon直接相关的是Linux arm64与Android arm64的Snapdragon包,分别提供CPU、Adreno GPU、Hexagon NPU支持,并附有安装指南链接。

其他平台包包括macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu x64/arm64/s390x(含Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16)、Windows x64/arm64(含CPU、OpenCL Adreno、CUDA、Vulkan、OpenVINO、SYCL、ROCm)以及UI包。提交信息显示macOS Apple Silicon的KleidiAI版本处于DISABLED状态,openEuler各包同样显示为DISABLED。

发布日志没有说明上述平铺与重打包改动是否影响非Hexagon后端,也没有给出精度、速度或内存的对比数据,因此不能从本次发布判断实际性能变化。

  • 新增Snapdragon专用包:Linux arm64与Android arm64,覆盖CPU、Adreno GPU、Hexagon NPU
  • macOS Apple Silicon(arm64)KleidiAI版本标记为DISABLED
  • openEuler各包(x86/aarch64、310p/910b)均标记为DISABLED
  • 发布日志未提供性能、精度或内存数据

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观