llama.cpp发布b12194:清理Hexagon后端N_HVX与线程数配置
该版本更新集中在Hexagon(高通骁龙NPU)后端,按架构设定N_HVX和N_THREADS以避免过度分配,并调整调试、跟踪与缓存相关代码;同时照例提供各平台预编译包。
AI解读:更新说明称,N_HVX和N_THREADS将根据架构设置,以避免过度分配。
同一提交还包含HTP_DEBUG构建开关、跟踪代码移入新头文件、dcache宏清理和日志一致性调整。
发布页列出macOS、Linux、Android、Windows等平台的预编译包,Snapdragon版本标注支持CPU、Adreno GPU和Hexagon NPU。
llama.cpp发布b12194版本。根据发布说明,本次提交(#31857)的主题是Hexagon后端的n_hvx与n_threads清理。
Hexagon后端调整N_HVX与线程数
发布说明列出,hex-nhvx部分将N_HVX和N_THREADS改为按架构设置,目的是避免过度分配(overallocation)。同一提交还把nhvx更新应用到最新的master分支。
- hex-nhvx:根据架构设定N_HVX和N_THREADS,避免过度分配。
- hex-nhvx:通过重排宏来缩小diff。
- hex-nhvx:统一日志输出。
调试、跟踪与缓存代码整理
除线程配置外,提交还涉及Hexagon后端的调试与构建支持:hex-build增加通过build.py启用HTP_DEBUG的支持;hex-trace将跟踪状态和辅助函数移入新的htp-trace.h头文件;hex-dcache清理dcache的 #define;hex-ci修复Python类型与linter警告。
- hex-build:支持通过build.py启用HTP_DEBUG。
- hex-trace:跟踪状态和辅助函数迁至htp-trace.h。
- hex-dcache:清理dcache相关宏定义。
- hex-ci:修复Python类型与linter警告。
预编译包覆盖平台
发布页继续提供多平台预编译包,包括macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu(x64、arm64、s390x,以及CUDA 12.8/13.5、ROCm 10.0、Vulkan、OpenVINO、SYCL等变体)、Android arm64、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)以及UI包。
- Linux arm64 Snapdragon包标注支持CPU、Adreno GPU和Hexagon NPU,并附有设置指南。
- Android arm64 Snapdragon包同样标注支持CPU、Adreno GPU和Hexagon NPU。
- macOS Apple Silicon的KleidiAI启用版本标记为DISABLED。
- openEuler相关构建标记为DISABLED。