开源llama.cpp Releases·原文 2026年9月27日

llama.cpp b11211发布:RPC后端改用RDMA完成通道,不再自旋等待

该版本由CI机器人github-actions[bot] 发布,核心改动是让RPC使用RDMA完成通道(completion channel)替代自旋等待,并为Apple RDMA留下TODO。

AI解读:llama.cpp的b11211构建把RPC后端的等待方式从自旋(spin)换成RDMA完成通道/完成队列,改动编号 #29440。自旋等待会占着CPU空转,换用完成通道后,RPC可以等事件通知而不是一直轮询。

这次改动只针对RPC场景,需要底层RDMA支持才受益。提交里还留了一条Apple RDMA的TODO,说明苹果平台上的RDMA支持尚未处理。普通本地推理用户感知不强,依赖RPC拆分计算的多机/多进程部署更相关。

发布页同时给出了各平台预编译包,包括macOS、iOS、Linux、Android、Windows以及UI包,其中macOS Apple Silicon(启用KleidiAI)和openEuler条目标注为DISABLED。

llama.cpp发布b11211构建,发布者为CI机器人github-actions[bot],来源是项目在GitHub上的Releases页面。

该版本包含的改动为 “RPC: use RDMA completion channel to not spin (#29440)”,即RPC后端改用RDMA完成通道(completion channel)以避免自旋等待。发布说明中同一改动的条目还写作 “RPC: use RDMA completion queue to not spin”,并附有一条 “add TODO for apple RDMA”。

发布页按平台列出了可下载的构建产物,包括macOS/iOS、Linux、Android、Windows、openEuler以及UI,来源未提供各产物的性能或兼容性测试数据。

b11211的RPC改动内容

发布说明把b11211的核心改动写成 “RPC: use RDMA completion channel to not spin (#29440)”。同一改动在发布说明中还有第二条描述 “RPC: use RDMA completion queue to not spin”,表明等待机制由自旋改为RDMA完成队列/完成通道。

发布说明还包含 “add TODO for apple RDMA”,说明Apple平台的RDMA支持被列为待办事项,来源未说明具体限制或时间表。

  • 改动编号:#29440
  • 改动主题:RPC使用RDMA完成队列以不再自旋
  • 遗留项:为Apple RDMA添加TODO

b11211提供的构建产物

发布页按平台给出构建包:macOS/iOS包括macOS Apple Silicon(arm64)、macOS Intel(x64)和iOS XCFramework;其中 “macOS Apple Silicon (arm64, KleidiAI enabled)” 标注为DISABLED。

Linux构建覆盖Ubuntu x64/arm64/s390x的CPU版,以及Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO、SYCL FP32/FP16等后端,另有Linux arm64 Snapdragon(CPU、Adreno GPU、Hexagon NPU)包和设置指南。

Android提供arm64 CPU和arm64 Snapdragon(CPU、Adreno GPU、Hexagon NPU)包;Windows提供x64/arm64 CPU、arm64 OpenCL Adreno、CUDA 12、CUDA 13、Vulkan、OpenVINO、SYCL、ROCm 10.0等构建。openEuler的x86/aarch64条目均标注为DISABLED。此外还有独立的UI包。

  • macOS/iOS:Apple Silicon arm64、Intel x64、iOS XCFramework;KleidiAI版为DISABLED
  • Linux:CPU(x64/arm64/s390x)、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL FP32/FP16、Snapdragon
  • Android:arm64 CPU、arm64 Snapdragon(CPU/Adreno GPU/Hexagon NPU)
  • Windows:CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0
  • openEuler:x86与aarch64条目均标注DISABLED

信息来源

llama.cpp Releases原始来源