llama.cpp b11472发布:温度为零的采样链改用贪心选择
llama.cpp发布构建b11472,改动集中在采样环节:符合条件的temperature-zero采样链改用贪心选择,动态温度和显式请求概率仍保留分布采样。
AI解读:llama.cpp发布b11472构建,主要改动是采样逻辑(PR #29797)。
提交信息称,符合条件的temperature-zero采样链改用贪心选择;CPU路径与grammar/reasoning-budget路径可采用同一套贪心选择。
动态温度(dynamic temperature)以及显式请求概率(requested probabilities)的场景仍保留分布采样。
改动还覆盖最终top-k且k=1 之后的贪心选择,并在现有sampler测试中补充常见采样器选择与概率行为的覆盖。
提交由ggml-org仓库的github-actions[bot] 发布,Georgi Gerganov参与合入,提交信息标注Assisted-by: OpenAI Codex;发布页同时提供多平台预编译包。
该改动是采样实现层面的调整,来源未给出质量、速度或复现性方面的公开评测数据。
llama.cpp发布b11472构建,仓库发布页列出的本次改动主题为“sampling:对符合条件的temperature-zero采样链使用贪心选择”(PR #29797)。
提交信息显示,改动让CPU路径与grammar/reasoning-budget路径使用同一套贪心选择,同时为动态温度和显式请求概率保留分布采样;最终top-k且k=1 之后也改用贪心选择。
采样逻辑的改动范围
根据发布页中的提交说明,这项改动的目标是“对符合条件的temperature-zero采样链使用贪心选择”。提交信息称,允许在CPU路径以及grammar/reasoning-budget路径上使用同样的贪心选择。
提交信息同时写明边界:动态温度(dynamic temperature)和显式请求概率(requested probabilities)仍保留分布采样。改动还涉及最终top-k且k=1 之后的贪心选择。
- 改动主题:temperature-zero采样链改用贪心选择(PR #29797)。
- 影响路径:CPU与grammar/reasoning-budget路径使用同一套贪心选择。
- 保留行为:动态温度、显式请求概率仍走分布采样。
- 额外改动:最终top-k且k=1 之后采用贪心选择。
- 测试:提交信息称在现有sampler测试中覆盖常见采样器选择与概率行为。
参与者与发布产物
发布页由ggml-org仓库的github-actions[bot] 发布。提交信息中列出Georgi Gerganov参与合入建议与共同作者,并标注“Assisted-by: OpenAI Codex”。
b11472提供多平台预编译包,发布页列出的下载覆盖macOS(Apple Silicon arm64、Intel x64)、iOS XCFramework、Linux(Ubuntu x64/arm64/s390x,含CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及Snapdragon的CPU/Adreno GPU/Hexagon NPU版本)、Android arm64(含Snapdragon版本)、Windows(CPU、OpenCL Adreno、CUDA 12.4、CUDA 13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0)以及UI包。发布页中macOS Apple Silicon的KleidiAI启用版本和openEuler相关条目标注为DISABLED。
- 发布者:ggml-org仓库的github-actions[bot]。
- 共同作者/合入建议:Georgi Gerganov;提交信息标注Assisted-by: OpenAI Codex。
- 平台产物:macOS、iOS、Linux、Android、Windows以及UI包。
- 发布页标注DISABLED的条目:macOS Apple Silicon(arm64,KleidiAI enabled)与openEuler相关条目。