开源llama.cpp Releases·原文 2026年10月8日

llama.cpp发布b11498:修复CUDA上norm系列kernel在ne[2]/ne[3] 超出grid维度限制时的问题

该版本由仓库自动化账号github-actions[bot] 发布,变更条目为 “CUDA: fix norm family kernels when ne[2]/ne[3] exceed grid dim limits (#28175)”,同时提供macOS、Linux、Windows、Android等多平台预编译包。

AI解读:该修复针对的是CUDA执行路径,来源没有说明CPU、Vulkan、ROCm、SYCL等其他后端是否受同一问题影响,也没有给出问题触发所需的张量形状范围。

发布页同时附带各平台预编译产物,包括macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework、Ubuntu(x64/arm64/s390x、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16、Snapdragon)、Android arm64、Windows(CPU、OpenCL Adreno、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0)以及UI包。

来源标注macOS Apple Silicon的KleidiAI启用版与openEuler产物为DISABLED状态,并链接到对应PR(#23780、#23705),说明这些构建当前不可用。

来源未提供修复前后的性能对比、复现步骤或受影响模型清单,因此无法据此判断该问题在实际推理中的影响范围。

以上内容均来自llama.cpp Releases的发布说明,发布者为github-actions[bot],属于该仓库的自动化发布流程,而非独立第三方验证。

llama.cpp发布b11498版本,来源中列出的唯一代码变更为 “CUDA: fix norm family kernels when ne[2]/ne[3] exceed grid dim limits (#28175)”,即修复CUDA后端norm系列kernel在张量第 3、第 4 维超出grid维度限制时的问题。

本次修复的内容与范围

根据发布说明,该版本修复的是CUDA后端中norm系列kernel在ne[2] 或ne[3] 超过grid维度限制时的行为,对应PR #28175。这一描述来自仓库自动化发布的版本条目,未附带复现步骤或测试数据。

来源没有说明该问题会影响哪些具体模型、张量形状或算子组合,也没有给出修复前后的行为差异,因此无法从这份材料推断实际推理场景中受影响的概率。

  • 变更条目:CUDA: fix norm family kernels when ne[2]/ne[3] exceed grid dim limits (#28175)
  • 涉及后端:CUDA
  • 其他后端是否受影响:来源未说明

随版本提供的构建产物

b11498同时提供多平台预编译包。macOS方面包括Apple Silicon(arm64)与Intel(x64),以及iOS XCFramework;macOS Apple Silicon的KleidiAI启用版被标记为DISABLED,并链接PR #23780。

Linux方面包括Ubuntu x64、arm64、s390x的CPU包,Vulkan x64/arm64,CUDA 12.8 x64与CUDA 13.4 x64/arm64及对应cudart库,ROCm 10.0 x64、OpenVINO x64、SYCL FP32/FP16 x64,以及Linux arm64 Snapdragon(CPU、Adreno GPU、Hexagon NPU)包。openEuler相关产物被标记为DISABLED,链接PR #23705。

Android方面提供arm64 CPU包与arm64 Snapdragon(CPU、Adreno GPU、Hexagon NPU)包;Windows方面提供CPU x64/arm64、OpenCL Adreno arm64、CUDA 12.4 x64、CUDA 13.4 x64/arm64(含对应DLL)、Vulkan x64/arm64、OpenVINO x64、SYCL x64、ROCm 10.0 x64包;另有单独的UI包。

  • macOS/iOS:Apple Silicon arm64、Intel x64、iOS XCFramework;KleidiAI启用版DISABLED(PR #23780)
  • Linux:Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16、Snapdragon arm64
  • Android:arm64 CPU、arm64 Snapdragon
  • Windows:CPU x64/arm64、OpenCL Adreno arm64、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0
  • openEuler:全部DISABLED(PR #23705)
  • 另有UI包

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观