llama.cpp b12091发布:投机解码可保存并恢复MTP隐藏状态
该版本变更说明称,speculative模块现可保存和恢复MTP隐藏状态;检查点只保留边界隐藏行,验证行在受支持的恢复路径上重建。发布页同时列出多平台预编译包。
AI解读:提交说明称检查点状态做了简化:只保存边界隐藏行(boundary hidden row),验证行在受支持的恢复路径上重新构建。
同一PR中移除了MTP状态测试,提交信息以“Assisted-by: Codex”“Assisted-by: GPT-6”标注了AI辅助,并列出共同作者zouyongxing。
发布页提供macOS/iOS、Linux(含CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、Snapdragon)、Android、Windows与UI的预编译包。
来源未给出该变更对推理速度或显存占用的实测数据,也未说明哪些模型或后端默认启用这条恢复路径,相关效果目前只有提交说明层面的描述。
llama.cpp发布b12091版本。发布说明列出的主要代码变更为:speculative(投机解码)模块可以保存和恢复MTP隐藏状态(PR #30141)。
提交说明称检查点状态经过简化,仅保存边界隐藏行,验证行在受支持的恢复路径上重新构建;同一PR还移除了MTP状态测试。
b12091的代码变更
该版本发布说明的首条内容为“spec : save and restore MTP hidden state (#30141)”。提交记录显示改动分三步:在speculative中实现MTP隐藏状态的保存与恢复;移除MTP状态测试;简化MTP检查点状态。
简化后的做法是只保存边界隐藏行,验证行在受支持的恢复路径上重建。提交信息以“Assisted-by: Codex”和“Assisted-by: GPT-6”标注AI辅助,并列出共同作者zouyongxing。
- 变更对象:speculative模块的MTP隐藏状态
- 检查点范围:仅边界隐藏行,验证行在恢复时重建
- 测试:该PR移除了MTP状态测试
随版本提供的构建产物
发布页按平台列出预编译包,包括macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework,以及Ubuntu x64/arm64/s390x的CPU构建。Linux侧另有Vulkan、CUDA 12.8与CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16等变体,以及面向Snapdragon的Linux arm64包(CPU、Adreno GPU、Hexagon NPU)。
Windows侧提供x64/arm64 CPU包,以及CUDA 12.4、CUDA 13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0和OpenCL Adreno构建;Android提供arm64 CPU与Snapdragon包。发布页还单独提供UI压缩包。部分条目标注为DISABLED,例如启用KleidiAI的macOS Apple Silicon构建和openEuler构建。
- macOS/iOS:Apple Silicon、Intel、XCFramework
- Linux:CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL、Snapdragon
- Windows:CPU、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0、OpenCL Adreno
- Android:arm64 CPU、Snapdragon
- 另有独立UI包
目前能确认与不能确认的
来源只说明了保存与恢复机制的改动范围,没有给出推理速度、显存占用或长上下文场景的对比数据,也未说明哪些模型或后端默认走这条恢复路径。因此“节省多少开销”“哪些使用场景受益”暂无来源支撑。
发布页把该改动标为speculative相关,读者若关心实际行为,需要以仓库代码和后续说明为准,而不是把本次提交视为已验证的性能改进。
- 已确认:代码层面新增MTP隐藏状态保存/恢复
- 未确认:性能收益、默认启用范围、具体模型适配情况