llama.cpp发布b11782:修复n>1 时completion_tokens统计偏低
该版本发布说明中列出的唯一改动是server端usage.completion_tokens在n大于 1 时计数不足的修复(#29486),发布者为ggml-org/llama.cpp,提交说明注明Assisted-by: Copilot。
AI解读:该修复只针对n大于 1 的情况,也就是单次请求返回多个候选结果时,服务端回报的completion_tokens计数;发布说明未解释具体计数逻辑,也未给出修复前后的对比数据。
同版本照例提供各平台预编译包,覆盖macOS/iOS、Linux、Android、Windows,并包含CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon等后端。
部分构建在发布说明中被标注为DISABLED:macOS Apple Silicon的KleidiAI版本和openEuler版本。
发布说明未提及性能变化或其他功能改动;修复效果是否与各家客户端或计费场景有关,来源未作说明。
llama.cpp发布build b11782,发布说明中唯一列出的代码改动为:修复server端在n>1 时usage.completion_tokens计数偏低的问题,对应PR #29486。
b11782的改动范围
发布说明把这次改动写作“server : fix usage.completion_tokens undercount with n > 1 (#29486)”,提交信息中标注Assisted-by: Copilot。改动位于server端,涉及返回给调用方的usage字段里的completion_tokens计数。
适用条件是n>1,即一次请求生成多个结果时。发布说明没有说明原先少计的具体幅度,也未提供修复后的验证数据。
- 改动项:server端usage.completion_tokens在n>1 时少计,已修复。
- 关联PR:#29486。
- 提交信息注明Assisted-by: Copilot。
随版本提供的构建
b11782按惯例附带多平台预编译产物,覆盖macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu x64/arm64/s390x、Android arm64、Windows x64/arm64,以及UI包。Linux和Windows侧提供CUDA 12、CUDA 13、Vulkan、ROCm 10.0、SYCL、OpenVINO等后端版本,骁龙平台另有CPU、Adreno GPU、Hexagon NPU的Linux与Android包。
- 被标注DISABLED的构建:macOS Apple Silicon(arm64,KleidiAI enabled)、openEuler各版本。
- CUDA包分别对应 12.8/12.4 与 13.4 的运行时库。