开源llama.cpp Releases·原文 2026年10月25日

llama.cpp b11874为OpenCL后端加入topk与lightning indexer

该版本提交标题显示,topk与lightning indexer均针对OpenCL后端,并包含对topk、tiled topk kernel与lightning indexer的优化和重构;发布页同时列出各平台预编译包。

AI解读:提交记录的步骤包括新增并优化topk、重构tiled topk kernel,以及新增fp lightning indexer并对其优化、重构和调整格式。

发布页按平台提供预编译包,覆盖macOS/iOS、Linux、Android、Windows和openEuler;其中macOS的KleidiAI版本和openEuler构建标注为DISABLED。

来源未给出topk与lightning indexer在具体模型上的性能数据或精度结果,因此目前只能确认接口与内核层面的改动范围。

llama.cpp发布b11874版本。该版本唯一的提交标题为“opencl: add topk and lightning indexer (#31026)”,说明这次改动集中在OpenCL后端。

提交说明列出的工作包括:新增topk、优化topk、新增fp lightning indexer、优化lightning indexer,以及后续的重构和格式调整。

OpenCL后端新增两项能力

根据提交记录,本次改动在OpenCL后端加入topk和lightning indexer。topk部分还单独经历了重构tiled topk kernel的步骤,lightning indexer则有新增fp版本、优化与重构的记录。

来源没有说明这两项能力对应哪些模型架构或推理路径,也没有给出测试数据。可确认的范围是OpenCL后端代码层面的新增与调整。

  • 新增topk并做优化
  • 重构tiled topk kernel
  • 新增fp lightning indexer并做优化、重构与格式调整

发布包覆盖的平台

b11874发布页列出了macOS/iOS、Linux、Android、Windows与openEuler的预编译包,包括CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL以及Snapdragon的CPU/Adreno GPU/Hexagon NPU等构建。

其中macOS Apple Silicon的KleidiAI版本与openEuler构建在页面上标注为DISABLED。OpenCL相关构建中,页面列出Windows arm64的OpenCL Adreno包。

  • 提供macOS Apple Silicon与Intel、iOS XCFramework包
  • Linux覆盖CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL及Snapdragon包
  • Android提供CPU与Snapdragon包
  • Windows提供CPU、OpenCL Adreno、CUDA、Vulkan、OpenVINO、SYCL、ROCm包

尚无公开的效果数据

发布说明没有提供topk或lightning indexer的吞吐、延迟或精度对比,也没有说明它们默认启用于哪些场景。因此这次更新可确认的是功能与内核改动,不能据此推断实际推理加速幅度。

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观