开源llama.cpp Releases·原文 2026年11月14日

llama.cpp b12365发布:Vulkan后端新增TOP_K_MASK支持

llama.cpp发布b12365版本,提交记录显示Vulkan后端新增TOP_K_MASK算子,包含屏障修复与公共头文件声明三项改动。

AI解读:提交记录列出三项改动:新增TOP_K_MASK、修复其屏障并改用公共偏移辅助函数、在公共头文件中声明ggml_vk_top_k_mask。

三项提交均标注Assisted-by: Claude Opus 5.5,即部分工作由AI辅助完成,属于提交者自述。

随版本发布的多平台二进制中,Ubuntu x64/arm64、Windows x64/arm64均提供Vulkan构建;macOS的KleidiAI版本与openEuler构建标注为DISABLED。

来源未给出该算子的性能对比或正确性测试数据,因此只能确认代码已合并进此版本,不能据此推断速度提升幅度。

llama.cpp发布b12365版本,其发布说明中的提交记录显示,本次主要变更是Vulkan后端新增TOP_K_MASK支持(PR #31544)。

同一提交记录还包含两项配套改动:修复TOP_K_MASK的屏障并使用公共偏移辅助函数,以及在公共头文件中声明ggml_vk_top_k_mask。三项改动均标注Assisted-by: Claude Opus 5.5。

b12365中的Vulkan改动

b12365的提交说明以“vulkan: add TOP_K_MASK (#31544)”开头,随后列出两条修订:修复TOP_K_MASK屏障、改用公共偏移辅助函数;在公共头文件中声明ggml_vk_top_k_mask。

TOP_K_MASK属于采样阶段的算子名,本次改动落在Vulkan后端,意味着使用Vulkan构建的llama.cpp可以调用该算子实现。来源未说明它在模型推理流程中的具体调用位置。

  • 新增Vulkan后端TOP_K_MASK支持,对应PR #31544。
  • 修复TOP_K_MASK的屏障。
  • 使用公共偏移辅助函数。
  • 在公共头文件中声明ggml_vk_top_k_mask。

平台构建与已知限制

该版本按平台提供二进制包。Vulkan构建覆盖Ubuntu x64、Ubuntu arm64、Windows x64和Windows arm64;此外还提供CPU、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL以及Snapdragon(CPU、Adreno GPU、Hexagon NPU)等构建。

发布说明中标注为DISABLED(停用)的条目包括macOS Apple Silicon的KleidiAI启用版(关联PR #23780)与openEuler构建(关联PR #23705)。这些条目没有给出可用二进制。

  • Vulkan二进制:Ubuntu x64/arm64、Windows x64/arm64。
  • 停用项:macOS Apple Silicon KleidiAI启用版、openEuler构建。
  • macOS提供arm64与Intel x64构建,以及iOS XCFramework。

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观