llama.cpp b11813将Pixtral分词器切换为Tekken预分词器
该版本变更说明为“vocab:为pixtral使用Tekken预分词器,而非Llama 3的预分词器”(PR #30960),并同步发布macOS、Linux、Windows、Android等多平台预编译包。
AI解读:llama.cpp发布b11813版本,唯一列出的代码变更是调整Pixtral的预分词器选择:改用Tekken预分词器,不再使用Llama 3的预分词器,对应PR #30960。
该说明写在release标题行,未附效果数据或测试结果,因此可确认的是实现层面的分词器替换,不能推断对Pixtral模型推理质量或速度的具体影响。
版本同时提供多平台二进制包,包括macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)、Android arm64以及Snapdragon专用包。
部分构建被标注为DISABLED:macOS Apple Silicon的KleidiAI版本和openEuler系列包在本版本中未启用。
llama.cpp发布b11813版本。发布说明中列出的代码变更为:为Pixtral使用Tekken预分词器,替换原先使用的Llama 3预分词器(PR #30960)。
本次变更内容
b11813的变更说明只有一行:“vocab : use Tekken pre-tokenizer for pixtral rather than the Llama 3 one (#30960)”。这说明改动位于词表/分词处理层,针对的是Pixtral模型的分词路径。
发布说明没有给出该改动的原因、影响的模型版本范围,也没有附带基准测试或输出对比。
随版本发布的构建产物
该版本延续了多平台预编译包的分发方式,覆盖桌面与服务端平台以及移动端。Snapdragon平台另有CPU、Adreno GPU、Hexagon NPU的专用包,并链接到对应的安装指南。
- macOS:Apple Silicon(arm64)、Intel(x64),另有iOS XCFramework。
- Linux:Ubuntu x64/arm64/s390x(CPU)、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16。
- Windows:x64/arm64 CPU、CUDA 12.4与 13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0,以及arm64的OpenCL Adreno包。
- Android:arm64 CPU包,以及Snapdragon(CPU、Adreno GPU、Hexagon NPU)包。
- 被标注为DISABLED:macOS Apple Silicon的KleidiAI构建,openEuler的x86/aarch64系列构建。
适用对象与限制
从发布说明看,本次改动只涉及Pixtral的分词器选择,没有提到其他模型或后端行为变化。使用非Pixtral模型的用户,其影响范围在说明中没有体现。
KleidiAI加速的macOS构建与openEuler构建在本版本中被禁用,依赖这些产物的用户需要继续使用旧版本或自行编译。