开源llama.cpp Releases·原文 2026年10月22日

llama.cpp b11819发布:支持Nemotron非标准GQA、BPE分词器和domyn-small pre-type

该版本提交说明称新增Nemotron模型支持,并让GGUF写入与分词器识别Metaspace的prepend_scheme;发布页同时列出各平台预编译包,其中macOS KleidiAI与openEuler构建标注为DISABLED。

AI解读:这说明本次改动面向Nemotron系列模型的加载与推理适配。

提交说明列出四项改动:支持非标准GQA;支持BPE分词器;支持domyn-small pre-type;gguf-py将Metaspace的prepend_scheme写入GGUF元数据。

分词器相关改动包括:vocab将Metaspace的prepend_scheme解析为枚举并重命名键;在detokenize中使用该prepend_scheme,并为其他分词器留下TODO;用常量表示Metaspace转义空格。

上述支持范围为提交说明所述,发布页未给出对应模型的评测数据或效果对比。

发布页提供macOS/iOS、Linux、Android、Windows与UI的预编译包下载;macOS Apple Silicon的KleidiAI版本和openEuler构建标注为DISABLED。

Linux包覆盖Ubuntu x64/arm64/s390x的CPU构建,以及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16等后端;另有Snapdragon的CPU、Adreno GPU、Hexagon NPU包。

llama.cpp发布b11819版本。发布页的提交说明以“nemotron:支持非标准GQA、BPE分词器和domyn-small pre-type(#23343)”为题,列出本次针对Nemotron相关模型的适配内容。

提交说明还包含gguf-py与vocab的改动:将Metaspace的prepend_scheme写入GGUF元数据,并在分词器中解析和使用该字段。该提交由Martin Cimmino共同署名。

b11819中的Nemotron与分词器改动

提交说明把改动分为三部分:Nemotron支持非标准GQA、BPE分词器和domyn-small pre-type;gguf-py将Metaspace的prepend_scheme写为GGUF元数据;vocab解析该prepend_scheme为枚举、重命名键,并在detokenize中使用它。

分词器部分还有两项说明:为其他分词器添加TODO;使用常量表示Metaspace转义空格。这些内容属于提交说明所述实现,发布页未附对应模型的输出样例或性能数据。

  • 支持Nemotron的非标准GQA
  • 支持BPE分词器
  • 支持domyn-small pre-type
  • gguf-py写入Metaspace prepend_scheme元数据
  • vocab解析prepend_scheme为枚举并在detokenize中使用

预编译包与受限构建

发布页按平台列出下载包:macOS/iOS包括Apple Silicon arm64、Intel x64和iOS XCFramework;Linux包括Ubuntu x64、arm64、s390x的CPU包及多种加速后端包;Android包括arm64 CPU与Snapdragon包;Windows包括x64/arm64 CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm等包;另有UI包。

两项构建标注为DISABLED:macOS Apple Silicon的KleidiAI启用版本,以及openEuler构建。发布页对openEuler仍列出x86 310p、x86 910b(ACL Graph)、aarch64 310p、aarch64 910b(ACL Graph)条目,但整体标记为禁用。

  • macOS Apple Silicon(arm64,KleidiAI enabled):DISABLED
  • openEuler:DISABLED
  • Linux提供CUDA 12.8与CUDA 13.4两套x64包及对应库
  • Windows提供CUDA 12.4与CUDA 13.4包及对应DLL
  • Android与Linux均提供Snapdragon的CPU、Adreno GPU、Hexagon NPU包

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观