llama.cpp b10762发布:新增DeepSeek-V4-Flash-Vision-Exp多模态支持
该版本通过mtmd架构支持DeepSeek-V4-Flash-Vision-Exp模型,附带多项后台优化,并更新了全平台预编译包。
AI解读:llama.cpp新版本b10762的核心是让本地推理引擎支持DeepSeek最新的视觉语言模型DeepSeek-V4-Flash-Vision-Exp。开发者或研究人员现在可以用llama.cpp在本地运行这一实验性多模态模型,无需依赖DeepSeek的云端API,从而降低数据隐私顾虑和按次计费的成本。
实现方式是通过mtmd(多模态转换器)后端整合,并调整了CLI的token数量处理逻辑,改用视觉专用的旋转位置编码。不过,这只是一个实验版模型的支持,模型本身可能还存在不稳定或效果限制,且需要自行准备模型权重。
llama.cpp发布b10762版本,主要变化是mtmd后端新增对DeepSeek-V4-Flash-Vision-Exp实验版多模态模型的支持,同时调整了从命令行输入的最小/最大token数处理方式,并改用GGML_ROPE_TYPE_VISION作为视觉部分的旋转位置嵌入。
除代码改动外,该版本为macOS、Linux、Windows、Android及iOS更新了预编译二进制包。需要留意的是,macOS Apple Silicon的KleidiAI加速版本和openEuler平台的构建在此次发布中被标记为DISABLED,用户目前无法获取这两类二进制;其他平台的下载链接已随发布提供。