开源llama.cpp Releases·原文 2026年10月19日

llama.cpp发布b11723:改进Hexagon后端FLASH_ATTN_EXT,支持长上下文与SWA模型

llama.cpp新版本b11723包含一项Hexagon后端的FLASH_ATTN_EXT改进,据提交说明可减少DMA取数、调整hmx与hvx的切换阈值,并更新hmx门控以计入mdev.count。

AI解读:b11723的主要变更是Hexagon后端的FLASH_ATTN_EXT改进。

提交说明称这组改动面向更长上下文和SWA(滑动窗口注意力)模型,并把gemma-4列为阈值微调带来的提升对象。这些属于提交说明中的描述,发布页未给出独立的基准数据或量化结果。

该改动针对Hexagon后端,对应发布包中的高通骁龙平台构建:Linux arm64与Android arm64的Snapdragon包标注包含CPU、Adreno GPU和Hexagon NPU。其他后端构建不在此次提交说明的范围内。

发布页同时列出macOS、iOS、Ubuntu、Windows、Android等多平台二进制包及UI包;macOS Apple Silicon的KleidiAI版本标注为DISABLED,openEuler构建同样标注为DISABLED。

llama.cpp发布b11723版本,主要变更在Hexagon后端:改进FLASH_ATTN_EXT,以支持更长上下文和SWA(滑动窗口注意力)模型(PR #30731)。

提交说明列出三项具体改动:hex-fa支持跳过被掩码的块以减少DMA取数;微调hmx到hvx的切换阈值,说明中称对gemma-4有提升;更新hmx门控以计入mdev.count。

改动范围与适用平台

此次改动落在Hexagon后端的Flash Attention实现上。发布包中与Hexagon相关的是Linux arm64和Android arm64的Snapdragon构建,说明分别标注为“CPU, Adreno GPU, Hexagon NPU”,并各自附带设置指南链接。

提交说明只描述改动的方向,没有给出上下文长度数值、吞吐对比或测试条件,因此无法从发布页判断提升幅度。

  • PR #30731:hexagon后端FLASH_ATTN_EXT改进,面向更长上下文与SWA模型
  • 支持跳过被掩码的块,以减少DMA取数
  • 微调hmx到hvx的切换阈值
  • 更新hmx门控以考虑mdev.count

同批发布的其他构件

b11723同时提供多平台二进制,包括macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework、Ubuntu x64/arm64/s390x的CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16构建,以及Windows x64/arm64的CPU、OpenCL Adreno、CUDA、Vulkan、OpenVINO、SYCL、ROCm构建。

部分构建被标注为不可用:macOS Apple Silicon的KleidiAI版本标为DISABLED(指向PR #23780),openEuler构建标为DISABLED(指向PR #23705)。发布页还提供UI包。

  • macOS Apple Silicon KleidiAI版本:DISABLED
  • openEuler构建:DISABLED
  • 包含Linux arm64与Android arm64的Snapdragon(CPU/Adreno GPU/Hexagon NPU)包

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观