llama.cpp发布b12084:LFM3记录层输入以支持投机解码
llama.cpp发布构建b12084,本次合并的改动(#31598)是在LFM3模型中记录层输入,用于投机解码(spec dec);发布页同时提供macOS、Linux、Windows、Android等多平台二进制包。
AI解读:该说明由llama.cpp仓库发布页给出,发布者为github-actions[bot];来源未提供该改动带来的速度提升、精度变化或适用模型范围的具体数据。
b12084的发布产物覆盖macOS(Apple Silicon arm64、Intel x64)、iOS XCFramework、Linux(Ubuntu x64/arm64/s390x、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL)、Android、Windows及UI包。
发布页中macOS Apple Silicon的KleidiAI版本与openEuler相关构建标注为DISABLED,并链接到对应PR(#23780、#23705)。
llama.cpp发布构建b12084,发布说明中列出的改动为“model : record layer inputs in LFM3 for spec dec”(#31598),即在LFM3模型中记录层输入,用于投机解码。该说明由仓库发布页给出,发布者为github-actions[bot]。
b12084的发布内容
发布说明只列出一条改动摘要:在LFM3中记录层输入,以支持投机解码(spec dec)。来源未说明该改动影响哪些模型版本、是否默认启用,也未给出速度或精度数据。
- 改动条目:#31598
- 说明原文:model : record layer inputs in LFM3 for spec dec
- 来源未提供效果数据与适用范围说明
发布产物与受限项
b12084按平台提供二进制包,覆盖macOS、iOS、Linux、Android、Windows以及单独的UI包。Linux侧包括CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL等后端;Windows侧包括CPU、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0等版本。
- macOS Apple Silicon(arm64,启用KleidiAI)标注DISABLED,链接至PR #23780
- openEuler相关构建标注DISABLED,链接至PR #23705
- Linux arm64 Snapdragon包涵盖CPU、Adreno GPU、Hexagon NPU,并附设置指南