开源llama.cpp Releases·原文 2026年11月4日

llama.cpp b12091发布:投机解码可保存并恢复MTP隐藏状态

该版本变更说明称,speculative模块现可保存和恢复MTP隐藏状态;检查点只保留边界隐藏行,验证行在受支持的恢复路径上重建。发布页同时列出多平台预编译包。

AI解读:提交说明称检查点状态做了简化:只保存边界隐藏行(boundary hidden row),验证行在受支持的恢复路径上重新构建。

同一PR中移除了MTP状态测试,提交信息以“Assisted-by: Codex”“Assisted-by: GPT-6”标注了AI辅助,并列出共同作者zouyongxing。

发布页提供macOS/iOS、Linux(含CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、Snapdragon)、Android、Windows与UI的预编译包。

来源未给出该变更对推理速度或显存占用的实测数据,也未说明哪些模型或后端默认启用这条恢复路径,相关效果目前只有提交说明层面的描述。

llama.cpp发布b12091版本。发布说明列出的主要代码变更为:speculative(投机解码)模块可以保存和恢复MTP隐藏状态(PR #30141)。

提交说明称检查点状态经过简化,仅保存边界隐藏行,验证行在受支持的恢复路径上重新构建;同一PR还移除了MTP状态测试。

b12091的代码变更

该版本发布说明的首条内容为“spec : save and restore MTP hidden state (#30141)”。提交记录显示改动分三步:在speculative中实现MTP隐藏状态的保存与恢复;移除MTP状态测试;简化MTP检查点状态。

简化后的做法是只保存边界隐藏行,验证行在受支持的恢复路径上重建。提交信息以“Assisted-by: Codex”和“Assisted-by: GPT-6”标注AI辅助,并列出共同作者zouyongxing。

  • 变更对象:speculative模块的MTP隐藏状态
  • 检查点范围:仅边界隐藏行,验证行在恢复时重建
  • 测试:该PR移除了MTP状态测试

随版本提供的构建产物

发布页按平台列出预编译包,包括macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework,以及Ubuntu x64/arm64/s390x的CPU构建。Linux侧另有Vulkan、CUDA 12.8与CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16等变体,以及面向Snapdragon的Linux arm64包(CPU、Adreno GPU、Hexagon NPU)。

Windows侧提供x64/arm64 CPU包,以及CUDA 12.4、CUDA 13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0和OpenCL Adreno构建;Android提供arm64 CPU与Snapdragon包。发布页还单独提供UI压缩包。部分条目标注为DISABLED,例如启用KleidiAI的macOS Apple Silicon构建和openEuler构建。

  • macOS/iOS:Apple Silicon、Intel、XCFramework
  • Linux:CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL、Snapdragon
  • Windows:CPU、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0、OpenCL Adreno
  • Android:arm64 CPU、Snapdragon
  • 另有独立UI包

目前能确认与不能确认的

来源只说明了保存与恢复机制的改动范围,没有给出推理速度、显存占用或长上下文场景的对比数据,也未说明哪些模型或后端默认走这条恢复路径。因此“节省多少开销”“哪些使用场景受益”暂无来源支撑。

发布页把该改动标为speculative相关,读者若关心实际行为,需要以仓库代码和后续说明为准,而不是把本次提交视为已验证的性能改进。

  • 已确认:代码层面新增MTP隐藏状态保存/恢复
  • 未确认:性能收益、默认启用范围、具体模型适配情况

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观