llama.cpp发布b11823:glm5输入路径优化,移除sel_mask_2d与new_pool_flat输入
该版本提交说明显示,改动为glm5避免sel_mask_2d输入,并继续避免new_pool_flat输入(PR #30932);同时按惯例提供macOS、Linux、Android、Windows等平台预编译包。
AI解读:提交说明列出两项具体改动:避免sel_mask_2d输入;继续避免new_pool_flat输入。
版本随附各平台预编译包,覆盖macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Android、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)及UI包。
来源未给出该优化的性能数据、适用模型版本或效果范围,因此只能确认输入路径上的代码改动,不能推断速度提升幅度。
llama.cpp发布b11823版本。该版本提交说明为“glm5 : optimize inputs (#30932)”,内容是对glm5相关输入做优化。
b11823的glm5输入改动
提交说明列出两项改动:glm5避免sel_mask_2d输入;随后继续避免new_pool_flat输入。两项都指向减少glm5推理路径中构造或传入的特定输入张量。
来源只给出提交标题与两条要点,未说明这些输入原先为何存在、改动后对内存或速度的具体影响,也未给出基准测试数字。
- 提交标题:glm5 : optimize inputs (#30932)
- 改动一:avoid sel_mask_2d input
- 改动二:avoid new_pool_flat input
随版本提供的构建产物
发布页按平台列出预编译包。macOS侧包含Apple Silicon(arm64)与Intel(x64)二进制,以及iOS XCFramework;其中启用KleidiAI的macOS Apple Silicon构建标注为DISABLED。
Linux侧覆盖Ubuntu x64/arm64/s390x的CPU包,以及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16等变体,另有面向Snapdragon的Linux arm64包(CPU、Adreno GPU、Hexagon NPU)及安装指南。
Android提供arm64 CPU包与Snapdragon版本;Windows提供x64/arm64 CPU、OpenCL Adreno、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0等包;此外还有独立UI包。openEuler相关构建标注为DISABLED。
- macOS:Apple Silicon arm64、Intel x64、iOS XCFramework
- Linux:Ubuntu CPU(x64/arm64/s390x)、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL,以及Snapdragon专用包
- Android:arm64 CPU、Snapdragon(CPU/Adreno GPU/Hexagon NPU)
- Windows:CPU、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0、OpenCL Adreno
- 其他:UI包;openEuler构建为DISABLED
适用范围与未披露信息
从提交说明看,本次改动针对glm5模型的输入处理路径;来源没有说明它是否影响其他模型,也没有给出可对照的运行数据。因此可以确认的是b11823中包含这一组输入优化提交,无法据此判断实际加速比例或对既有部署的影响程度。