llama.cpp b11870加入DeepSeek-V4.1-Flash模型支持
llama.cpp发布b11870版本,合并PR #31086,新增deepseek41模型实现;发布说明列出多项内核与缓存改动,并将deepseek41纳入Metal融合基线测试。
AI解读:这次发布的核心变化是llama.cpp新增DeepSeek-V4.1-Flash(代码名deepseek41)支持,来源为llama.cpp Releases的b11870发布说明,PR编号 #31086,署名合著者包括Daniel Han。
发布说明列出的改动集中在实现细节:移除MXFP8、把Engram表转换为BF16、压缩KV的读取层在缓存中只计算一次、Engram行改为在图内gather(类似qwen4exp)、移除主机的gather、Engram哈希常量保存在hparams.ple_* 且每层一个模块。
另有若干结构调整:去掉LLAMA_DSV41_KV_MIRROR开关、在build_hc_mixes中保持il最后、稀疏gather前对top-k行排序,并把deepseek41加入Metal融合基线测试。
发布说明同时附上b11870的多平台预编译包,涵盖macOS arm64/x64、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Windows、Android以及Snapdragon的CPU/Adreno GPU/Hexagon NPU版本;macOS KleidiAI版与openEuler构建标注为DISABLED。
发布说明没有给出该模型在llama.cpp上的速度、精度或内存占用数据,因此这些改动对实际推理性能的影响尚无法从来源判断。
对使用者的直接含义是:想用llama.cpp运行DeepSeek-V4.1-Flash的人需要升级到b11870或更高版本,并按平台选择对应的预编译包。
llama.cpp发布b11870版本,发布说明的标题为“model: DSV4.1 flash (#31086)”,即在推理框架中加入DeepSeek-V4.1-Flash模型支持,代码中记为deepseek41。
这次合并改了什么
发布说明由github-actions[bot] 发布,PR编号 #31086,合著者包括Daniel Han。改动条目主要是deepseek41的实现细节:移除MXFP8,把Engram表转换为BF16;压缩KV的读取层在缓存中只计算一次;Engram行改为像qwen4exp那样在图内gather,不再由主机gather;Engram哈希常量保存在hparams.ple_*,每个Engram层一个模块。
结构层面还有:去掉LLAMA_DSV41_KV_MIRROR开关;在build_hc_mixes中保持il最后;稀疏gather前先对top-k行排序。测试方面,发布说明称已将deepseek41加入Metal融合基线。
平台构建与已知限制
b11870附带多平台预编译包:macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework、Ubuntu的CPU/Vulkan/CUDA 12.8/CUDA 13.4/ROCm 10.0/OpenVINO 2026.4.1/SYCL FP32与FP16、Linux arm64 Snapdragon(CPU、Adreno GPU、Hexagon NPU)、Android arm64、Windows的CPU/CUDA 12.4/CUDA 13.4/Vulkan/OpenVINO/SYCL/ROCm 10.0。
发布说明把macOS Apple Silicon的KleidiAI版本标为DISABLED,并链接到PR #23780;openEuler的x86 310p、x86 910b(ACL Graph)、aarch64 310p、aarch64 910b(ACL Graph)构建同样标为DISABLED,链接到PR #23705。
尚缺的信息
发布说明没有给出DeepSeek-V4.1-Flash在llama.cpp上的吞吐、延迟、精度或显存占用数据,也没有说明这些内核改动相对此前版本带来多少性能变化。Metal融合基线只说明测试覆盖范围,不能据此推断其他后端的表现。