llama.cpp b12365发布:Vulkan后端新增TOP_K_MASK支持
llama.cpp发布b12365版本,提交记录显示Vulkan后端新增TOP_K_MASK算子,包含屏障修复与公共头文件声明三项改动。
AI解读:提交记录列出三项改动:新增TOP_K_MASK、修复其屏障并改用公共偏移辅助函数、在公共头文件中声明ggml_vk_top_k_mask。
三项提交均标注Assisted-by: Claude Opus 5.5,即部分工作由AI辅助完成,属于提交者自述。
随版本发布的多平台二进制中,Ubuntu x64/arm64、Windows x64/arm64均提供Vulkan构建;macOS的KleidiAI版本与openEuler构建标注为DISABLED。
来源未给出该算子的性能对比或正确性测试数据,因此只能确认代码已合并进此版本,不能据此推断速度提升幅度。
llama.cpp发布b12365版本,其发布说明中的提交记录显示,本次主要变更是Vulkan后端新增TOP_K_MASK支持(PR #31544)。
同一提交记录还包含两项配套改动:修复TOP_K_MASK的屏障并使用公共偏移辅助函数,以及在公共头文件中声明ggml_vk_top_k_mask。三项改动均标注Assisted-by: Claude Opus 5.5。
b12365中的Vulkan改动
b12365的提交说明以“vulkan: add TOP_K_MASK (#31544)”开头,随后列出两条修订:修复TOP_K_MASK屏障、改用公共偏移辅助函数;在公共头文件中声明ggml_vk_top_k_mask。
TOP_K_MASK属于采样阶段的算子名,本次改动落在Vulkan后端,意味着使用Vulkan构建的llama.cpp可以调用该算子实现。来源未说明它在模型推理流程中的具体调用位置。
- 新增Vulkan后端TOP_K_MASK支持,对应PR #31544。
- 修复TOP_K_MASK的屏障。
- 使用公共偏移辅助函数。
- 在公共头文件中声明ggml_vk_top_k_mask。
平台构建与已知限制
该版本按平台提供二进制包。Vulkan构建覆盖Ubuntu x64、Ubuntu arm64、Windows x64和Windows arm64;此外还提供CPU、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL以及Snapdragon(CPU、Adreno GPU、Hexagon NPU)等构建。
发布说明中标注为DISABLED(停用)的条目包括macOS Apple Silicon的KleidiAI启用版(关联PR #23780)与openEuler构建(关联PR #23705)。这些条目没有给出可用二进制。
- Vulkan二进制:Ubuntu x64/arm64、Windows x64/arm64。
- 停用项:macOS Apple Silicon KleidiAI启用版、openEuler构建。
- macOS提供arm64与Intel x64构建,以及iOS XCFramework。