开源llama.cpp Releases·原文 2026年11月6日

llama.cpp b12141:llama-server检查点改用引用计数,替代深拷贝

该版本由PR #30137 提交,将llama-server的检查点改为引用计数共享,并复用了 #26004 的槽位保存/恢复逻辑。发布说明只给出改动说明与各平台构建产物,未公布性能数据。

AI解读:llama.cpp发布b12141版本,核心变更是llama-server的检查点(checkpoint)从深拷贝改为引用计数方式,对应PR #30137。

提交信息注明使用了Codex与Claude Opus 5.5协助,作者为cwriter。

同一发布页列出了macOS/iOS、Linux、Android、Windows等多平台构建产物,但未给出该改动在实际负载下的内存或速度数据。

llama.cpp发布b12141版本,llama-server的检查点实现由深拷贝改为引用计数共享,相关改动为PR #30137。

按提交说明,改动目的是降低检查点开销,做法是把 #26004 中的槽位保存/恢复检查点逻辑适配到shared_ptr检查点列表和common_state_data缓冲区。提交信息注明Assisted-by: Codex与Claude Opus 5.5,Co-authored-by: cwriter。

改动内容与来源

发布说明中的提交标题为“llama-server: Use reference-counted checkpoints instead of deep-copies (#30137)”,说明检查点不再以深拷贝方式保存,而由引用计数管理。

提交正文写道“checkpoints: reduce overhead”,并说明这是将 #26004 的槽位保存/恢复检查点附录适配到shared_ptr检查点列表与common_state_data缓冲区。这项描述属提交者说明,发布页未附基准测试结果。

  • 变更对象:llama-server的检查点
  • 变更方式:引用计数替代深拷贝
  • 关联PR:#30137;逻辑来源:#26004
  • 协助工具标注:Codex、Claude Opus 5.5

发布产物范围

b12141发布页同时提供多平台预编译包,覆盖macOS(Apple Silicon、Intel)、iOS XCFramework、Linux(Ubuntu x64/arm64/s390x,含Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL等变体)、Android(arm64及Snapdragon版本)、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)以及UI包。

  • macOS Apple Silicon的KleidiAI版本标注为DISABLED
  • openEuler构建标注为DISABLED
  • 发布说明未给出该检查点改动对内存占用或速度的影响数据

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观