开源llama.cpp Releases·原文 2026年10月1日

llama.cpp b11303发布:把剩余examples迁移到llama_batch_ext

这次构建的主线改动是把剩余示例程序迁移到llama_batch_ext,同时删除common_batch_staged、加入线程安全测试,并照例放出macOS、Linux、Windows、Android等多平台预编译包。

AI解读:llama.cpp的b11303版本主要是内部批处理API的收尾工作:把剩下的示例程序从旧接口迁到llama_batch_ext,并删除了common_batch_staged。

这不会让模型变聪明,但会统一示例代码的批处理写法。对拿examples当模板改自己项目的人来说,旧代码路径正在消失,后续维护和抄作业都要看新接口。

发布页同时列出线程安全测试和多平台预编译包,覆盖macOS、Linux、Windows、Android,以及CUDA、Vulkan、ROCm、SYCL、OpenVINO等后端;macOS的KleidiAI和openEuler构建仍处于禁用状态。

llama.cpp发布b11303构建,主改动是一条批处理迁移:batch: migrate the rest of examples to llama_batch_ext (#29601),把剩余的示例程序迁移到llama_batch_ext。

同一改动还包含test-thread-safety,并删除common_batch_staged。

发布页按平台列出预编译产物,覆盖macOS/iOS、Linux、Android、Windows和openEuler,以及CPU、Vulkan、CUDA、ROCm、SYCL、OpenVINO等不同后端。

macOS Apple Silicon的KleidiAI启用版本和openEuler全部构建标注为DISABLED。

迁移内容:剩余examples换用llama_batch_ext

该构建的改动说明为“batch: migrate the rest of examples to llama_batch_ext (#29601)”,附注包括“migrate the rest”“test-thread-safety”“rm common_batch_staged”。

也就是说,示例程序不再沿用原有的批处理封装,改为使用llama_batch_ext;common_batch_staged被移除,并加入了线程安全相关测试。这是源码层面的接口收尾,不是模型权重或推理能力更新。

  • 改动标题:batch: migrate the rest of examples to llama_batch_ext (#29601)
  • 附带改动:test-thread-safety
  • 移除项:common_batch_staged

可用构建与禁用项

发布页列出的预编译包包括macOS Apple Silicon(arm64)、macOS Intel(x64)、iOS XCFramework,以及Ubuntu的x64/arm64/s390x CPU构建。

Linux侧另有Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4、SYCL FP32/FP16等后端构建,以及面向Snapdragon的Linux arm64包(CPU、Adreno GPU、Hexagon NPU)。

Android提供arm64 CPU和Snapdragon三件套版本;Windows提供x64/arm64 CPU、OpenCL Adreno、CUDA 12.4/13.4、Vulkan、OpenVINO 2026.4、SYCL、ROCm 10.0等包。UI单独以ui.tar.gz发布。

  • macOS Apple Silicon(arm64,KleidiAI启用):DISABLED
  • openEuler x86/aarch64(310p、910b ACL Graph):DISABLED
  • Ubuntu CUDA包同时提供CUDA 12.8与CUDA 13.4运行库
  • Snapdragon构建在Linux与Android均标注CPU、Adreno GPU、Hexagon NPU

信息来源

llama.cpp Releases原始来源