开源llama.cpp Releases·原文 2026年10月21日

llama.cpp发布b11782:修复n>1 时completion_tokens统计偏低

该版本发布说明中列出的唯一改动是server端usage.completion_tokens在n大于 1 时计数不足的修复(#29486),发布者为ggml-org/llama.cpp,提交说明注明Assisted-by: Copilot。

AI解读:该修复只针对n大于 1 的情况,也就是单次请求返回多个候选结果时,服务端回报的completion_tokens计数;发布说明未解释具体计数逻辑,也未给出修复前后的对比数据。

同版本照例提供各平台预编译包,覆盖macOS/iOS、Linux、Android、Windows,并包含CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon等后端。

部分构建在发布说明中被标注为DISABLED:macOS Apple Silicon的KleidiAI版本和openEuler版本。

发布说明未提及性能变化或其他功能改动;修复效果是否与各家客户端或计费场景有关,来源未作说明。

llama.cpp发布build b11782,发布说明中唯一列出的代码改动为:修复server端在n>1 时usage.completion_tokens计数偏低的问题,对应PR #29486。

b11782的改动范围

发布说明把这次改动写作“server : fix usage.completion_tokens undercount with n > 1 (#29486)”,提交信息中标注Assisted-by: Copilot。改动位于server端,涉及返回给调用方的usage字段里的completion_tokens计数。

适用条件是n>1,即一次请求生成多个结果时。发布说明没有说明原先少计的具体幅度,也未提供修复后的验证数据。

  • 改动项:server端usage.completion_tokens在n>1 时少计,已修复。
  • 关联PR:#29486。
  • 提交信息注明Assisted-by: Copilot。

随版本提供的构建

b11782按惯例附带多平台预编译产物,覆盖macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu x64/arm64/s390x、Android arm64、Windows x64/arm64,以及UI包。Linux和Windows侧提供CUDA 12、CUDA 13、Vulkan、ROCm 10.0、SYCL、OpenVINO等后端版本,骁龙平台另有CPU、Adreno GPU、Hexagon NPU的Linux与Android包。

  • 被标注DISABLED的构建:macOS Apple Silicon(arm64,KleidiAI enabled)、openEuler各版本。
  • CUDA包分别对应 12.8/12.4 与 13.4 的运行时库。

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观