开源llama.cpp Releases·原文 2026年10月23日

llama.cpp发布b11823:glm5输入路径优化,移除sel_mask_2d与new_pool_flat输入

该版本提交说明显示,改动为glm5避免sel_mask_2d输入,并继续避免new_pool_flat输入(PR #30932);同时按惯例提供macOS、Linux、Android、Windows等平台预编译包。

AI解读:提交说明列出两项具体改动:避免sel_mask_2d输入;继续避免new_pool_flat输入。

版本随附各平台预编译包,覆盖macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Android、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)及UI包。

来源未给出该优化的性能数据、适用模型版本或效果范围,因此只能确认输入路径上的代码改动,不能推断速度提升幅度。

llama.cpp发布b11823版本。该版本提交说明为“glm5 : optimize inputs (#30932)”,内容是对glm5相关输入做优化。

b11823的glm5输入改动

提交说明列出两项改动:glm5避免sel_mask_2d输入;随后继续避免new_pool_flat输入。两项都指向减少glm5推理路径中构造或传入的特定输入张量。

来源只给出提交标题与两条要点,未说明这些输入原先为何存在、改动后对内存或速度的具体影响,也未给出基准测试数字。

  • 提交标题:glm5 : optimize inputs (#30932)
  • 改动一:avoid sel_mask_2d input
  • 改动二:avoid new_pool_flat input

随版本提供的构建产物

发布页按平台列出预编译包。macOS侧包含Apple Silicon(arm64)与Intel(x64)二进制,以及iOS XCFramework;其中启用KleidiAI的macOS Apple Silicon构建标注为DISABLED。

Linux侧覆盖Ubuntu x64/arm64/s390x的CPU包,以及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16等变体,另有面向Snapdragon的Linux arm64包(CPU、Adreno GPU、Hexagon NPU)及安装指南。

Android提供arm64 CPU包与Snapdragon版本;Windows提供x64/arm64 CPU、OpenCL Adreno、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0等包;此外还有独立UI包。openEuler相关构建标注为DISABLED。

  • macOS:Apple Silicon arm64、Intel x64、iOS XCFramework
  • Linux:Ubuntu CPU(x64/arm64/s390x)、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL,以及Snapdragon专用包
  • Android:arm64 CPU、Snapdragon(CPU/Adreno GPU/Hexagon NPU)
  • Windows:CPU、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0、OpenCL Adreno
  • 其他:UI包;openEuler构建为DISABLED

适用范围与未披露信息

从提交说明看,本次改动针对glm5模型的输入处理路径;来源没有说明它是否影响其他模型,也没有给出可对照的运行数据。因此可以确认的是b11823中包含这一组输入优化提交,无法据此判断实际加速比例或对既有部署的影响程度。

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观