开源llama.cpp Releases·原文 2026年10月8日

llama.cpp发布b11499:CUDA后端改用字节步长支持非连续ROLL

该版本由项目构建机器人发布,主要改动是CUDA的ROLL操作改用字节步长,以支持非连续张量;同时提供macOS、Linux、Windows、Android、openEuler等多平台预编译包。

AI解读:发布内容同时列出多平台预编译二进制包,涵盖macOS/iOS、Linux(含CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Android、Windows以及openEuler相关构建。

其中部分构建被标注为DISABLED:macOS Apple Silicon的KleidiAI启用版本被禁用,openEuler构建整体被禁用。

来源仅给出改动标题与构建清单,未提供性能数据、兼容性范围或对具体模型的影响说明,因此无法据此判断该改动带来的实际效果。

llama.cpp发布b11499版本,发布说明中列出的唯一代码改动是CUDA后端的ROLL操作改用字节步长(byte strides),以支持非连续的ROLL操作,对应PR #29547。

b11499的代码改动

发布说明中唯一标注的代码改动为“cuda : Use byte strides for roll to allow non-contiguous ROLL operations (#29547)”。按字面含义,这一改动针对CUDA后端,目的是让ROLL操作可以作用于非连续张量。

  • 标题:cuda : Use byte strides for roll to allow non-contiguous ROLL operations
  • 对应PR编号:#29547
  • 发布方:llama.cpp Releases(发布说明由github-actions[bot] 账号发布)

随版本提供的构建

b11499随版本发布了一批预编译包,覆盖macOS/iOS、Linux、Android、Windows与openEuler等平台,构建后端包括CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL,以及针对高通Snapdragon的CPU、Adreno GPU、Hexagon NPU组合构建。此外还单独提供UI包。

  • macOS/iOS:Apple Silicon (arm64)、Intel (x64)、iOS XCFramework
  • Linux:Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及Linux arm64 Snapdragon构建
  • Android:arm64 CPU、arm64 Snapdragon(CPU、Adreno GPU、Hexagon NPU)
  • Windows:x64/arm64 CPU、arm64 OpenCL Adreno、CUDA 12.4、CUDA 13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0
  • openEuler:x86/aarch64的 310p与 910b(ACL Graph)构建
  • Linux与Android的Snapdragon构建附有对应的setup guide链接

被标记为禁用的构建

发布清单中有两项被标注为DISABLED:macOS Apple Silicon(arm64,KleidiAI启用)版本,以及openEuler构建。发布说明未在本次来源中给出禁用的原因说明。

  • macOS Apple Silicon (arm64, KleidiAI enabled):DISABLED,关联PR #23780
  • openEuler:DISABLED,关联PR #23705

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观