llama.cpp b11953为 384 专家MoE增加CUDA top-k融合
该版本提交信息为 “cuda : add top-k MoE fusion for 384 experts (#31288)”,并标注Assisted-by: Codex;发布页同时提供了各平台预编译包下载。
AI解读:llama.cpp发布b11953版本,提交说明为在CUDA后端为 384 个专家的MoE模型加入top-k融合(pull request #31288)。
提交信息带有 “Assisted-by: Codex” 标注,表明该改动在开发中使用了Codex辅助;发布说明未给出性能数据。
发布页按macOS/iOS、Linux、Android、Windows、openEuler和UI列出预编译产物,CUDA包涵盖 12 与 13 两条版本线。
llama.cpp发布b11953版本,版本说明中的改动为 “cuda : add top-k MoE fusion for 384 experts”,对应pull request #31288。
该提交信息标注 “Assisted-by: Codex”。发布页未附基准测试或加速比例,因此该融合对推理速度的实际影响尚无公开数据。
改动范围与适用条件
按提交说明,此次改动位于CUDA后端,针对专家数为 384 的MoE模型实现top-k融合。发布页没有说明该路径对哪些模型架构、哪些GPU型号或哪些量化格式生效,也未说明是否默认启用。
- 改动对象:CUDA后端
- 技术点:top-k MoE fusion
- 专家规模:384 experts
- PR编号:#31288
- 辅助标注:Assisted-by: Codex
同版本提供的预编译产物
b11953发布页列出了多平台二进制包。Linux与Windows的CUDA构建分别提供CUDA 12与CUDA 13两套版本,并单列对应的CUDA运行时库压缩包。
macOS Apple Silicon的KleidiAI启用版本与openEuler构建在页面中标注为DISABLED。
- macOS:Apple Silicon arm64、Intel x64、iOS XCFramework
- Linux:Ubuntu x64/arm64/s390x CPU,以及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16
- Linux arm64 Snapdragon:CPU、Adreno GPU、Hexagon NPU
- Android:arm64 CPU与Snapdragon版本
- Windows:CPU、OpenCL Adreno、CUDA 12.4、CUDA 13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0
- 其他:UI包