开源llama.cpp Releases·原文 2026年10月28日

llama.cpp b11962发布:CUDA后端在MMQ中融合MoE的gate/up与GLU

llama.cpp发布b11962版本,本次唯一列出的改动是在CUDA后端把MoE的MUL_MAT_ID gate/up与GLU融合进MMQ(PR #31188);发布页同时提供macOS、Linux、Windows、Android等平台构建包。

AI解读:这次更新所针对的问题是CUDA后端中MoE计算的执行路径:发布说明把MUL_MAT_ID的gate/up与GLU合并到MMQ内完成。这一改动只会影响使用CUDA后端且模型采用MoE结构的场景,对其他后端和普通稠密模型没有表明作用。

来源只给出改动标题和PR编号 #31188,没有提供加速比例、显存变化或测试数据,因此不能据此推断性能收益大小。

发布页列出macOS、iOS、Linux、Windows、Android等多平台压缩包,CUDA构建包含 12.8、12.4 与 13.4 等版本号;个别条目标注DISABLED,例如macOS arm64的KleidiAI与openEuler构建。

所以,实际能否用到这次CUDA融合,取决于是否下载对应CUDA版本构建包,并在支持MoE的模型上通过CUDA后端运行;这份发布说明没有说明其他平台的二进制是否包含同一改动。

llama.cpp发布b11962版本,发布说明列出的改动为:cuda: fuse MoE (MUL_MAT_ID) gate/up and GLU in MMQ(PR #31188)。

> 发布页按平台提供构建产物,包括macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)、Android以及Snapdragon相关构建。

> macOS Apple Silicon的KleidiAI构建和openEuler构建在页面中标注为DISABLED,并链接到对应PR。

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观