开源llama.cpp Releases·原文 2026年10月17日

llama.cpp b11707为Granite switch模型扩展至 256 个单token选项标记

该版本在模型转换阶段扫描模型词表,为每个switch模型找出可映射到输出概率logits的单token选项标记;作者Gabe Goodhart称,原先大小写字母加数字的组合只有 66 个唯一标记。

AI解读:提交说明称,每个switch模型都需要一组单token选项标记,以便映射到各选项的logits,得到输出概率分布;简单的大写、小写、数字集合只产生 66 个唯一标记,而模型最多支持 255 个。

由于哪些字符组合能构成单token标记取决于具体模型,改动在转换阶段遍历该模型的词表,寻找 1 个及以上纯字母组成的单token序列(如A、AA、BB)。

提交记录显示,计算出的标签被写入模板,使C++侧成为标签来源;GRANITE_SWITCH使用LEV大小写处理,文档将相关标记归入 255 个一档。

该版本同时提供macOS、Linux、Windows、Android等多平台预编译包,其中macOS的KleidiAI版本与openEuler包处于DISABLED状态。

llama.cpp发布b11707版本,变更说明标题为“model : Granite switch decision 256 options (#30693)”,主要内容是让Granite switch决策模型使用 256 个单token选项标记。提交由Gabe Goodhart署名。

提交说明解释了动机:switch模型需要一组单token选项标记,映射到各自的logits以形成输出概率分布;原有的大写、小写、数字集合只得到 66 个唯一标记,而模型可支持到 255 个。

转换阶段扫描词表寻找单token标记

提交说明称,哪些字符组合能构成单token标记因模型而异,因此在转换时对该模型词表做一次发现过程,查找由 1 个及以上纯字母组成的单token序列,例如A、AA、BB。

后续提交把计算出的标签用于模板,使C++侧成为标签的来源;GRANITE_SWITCH改用LEV大小写处理,文档将相关标记归并到 255 个一档。提交信息分别标注了AI使用情况:部分提交标注none,部分标注full(Claude + Sonnet 5.5)。

发布包覆盖多平台,部分后端被禁用

b11707提供macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Android arm64、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)以及Snapdragon相关构建的下载。

发布说明中,macOS Apple Silicon的KleidiAI版本与openEuler包标记为DISABLED,并分别链接到对应的pull request。

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观