llama.cpp b10771发布:为mtmd新增mtmd_tokenize_from_parts() 函数
新版本通过拆分tokenize调用位置和剥离特殊token添加逻辑,重构了mtmd处理流程,并同步提供各平台安装包。
AI解读:llama.cpp的这次小版本更新针对其多模态文档解析模块mtmd做了一次内部重构:新增mtmd_tokenize_from_parts() 函数,并修改了mtmd-cli的调用方式,同时将add_special(即是否添加特殊token的控制)从函数内部上移到调用层。
对普通用户来说,这不会直接改变你输入提示词的方式或生成结果——它属于代码层面的整理,目的是让tokenize流程更模块化,便于后续维护或扩展。真正关心这次改动的是在llama.cpp上做多模态或命令行集成的开发者:如果你自己调用了mtmd的tokenize接口,需要留意函数签名变化,并自行处理add_special逻辑;如果没有二次开发,直接更新到b10771即可,功能不受影响。
llama.cpp于b10771版本新增mtmd_tokenize_from_parts() 函数,用于拆分mtmd的tokenize调用,并在mtmd-cli中启用该函数,同时将add_special处理移至调用层。
mtmd-tokenize重构
新版本引入mtmd_tokenize_from_parts()(PR #28250),将分词逻辑按部分拆分,mtmd-cli已改用此函数。add_special参数的控制从函数内部上移到调用层,以便单独管理特殊token的添加。
版本同时提供全平台构建产物:macOS(Apple Silicon、Intel、iOS XCFramework)、Linux(Ubuntu x64/arm64/s390x、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16)、Android arm64、Windows(x64/arm64 CPU、OpenCL Adreno、CUDA 12.4/13.3/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0)及UI压缩包。默认macOS Apple Silicon KleidiAI版本和openEuler构建在本版本中标记为DISABLED,相关PR为 #23780 和 #23705。