开源llama.cpp Releases·原文 2026年10月7日

llama.cpp b11450发布:RPC后端新增 -sm tensor分片模式

llama.cpp版本b11450合并PR #26610,为RPC后端加入 -sm tensor选项,并附带一系列RPC内部改动;发布页同时列出各平台预编译包。

AI解读:llama.cpp发布b11450,主要变更是RPC后端允许使用 -sm tensor(PR #26610)。

提交记录显示多项RPC相关内部调整:修复Apple RDMA的flush、将graph_uids移入rpc_dispatcher、停止dispatcher线程空转、移除meta backend改动、添加TODO简化逻辑,以及RPC主版本号提升。

发布页列出macOS/iOS、Linux、Android、Windows、openEuler(标注DISABLED)和UI的预编译产物链接,覆盖CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、Snapdragon等后端。

llama.cpp发布版本b11450,核心变更是RPC后端新增 -sm tensor选项(PR #26610)。

该PR由Georgi Gerganov共同署名,提交记录还包含多项RPC内部修改。

RPC后端的 -sm tensor与配套改动

根据PR #26610 的提交记录,此次改动允许RPC后端使用 -sm tensor,即把张量分片策略用于RPC场景。

同一PR还包含:修复Apple RDMA的flush;将graph_uids移入rpc_dispatcher;处理冲突;停止dispatcher线程空转;移除meta backend改动;添加TODO以简化逻辑;以及提升RPC主版本号。

发布产物

b11450发布页列出了多个平台的预编译包,包括macOS Apple Silicon(arm64,另有标注DISABLED的KleidiAI版本)、macOS Intel(x64)、iOS XCFramework;Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16;Linux arm64 Snapdragon(CPU、Adreno GPU、Hexagon NPU);Android arm64(CPU及Snapdragon版本);Windows x64/arm64的CPU、OpenCL Adreno、CUDA 12.4、CUDA 13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0;以及UI包。

openEuler相关产物(x86 310p、x86 910b ACL Graph、aarch64 310p、aarch64 910b ACL Graph)标注为DISABLED。

信息来源

llama.cpp Releases原始来源