开源llama.cpp Releases·原文 2026年11月3日本站收录 2026年11月4日

llama.cpp发布b12072:从llm_attn_mask中移除冗余cnv

llama.cpp发布版本b12072,主要变更是移除llm_attn_mask中冗余的cnv,将dspark block mask改为在输入填充阶段推导,并去掉dflash中图级别的reshape/repeat。

AI解读:这次变更的具体内容是:llm_attn_mask::block_uniform会把一个序列中每个token的掩码行填充为它第一个token的掩码行,因此dflash中图级别的reshape/repeat被去掉,cnv始终与raw等同(aliasing raw)。

该说明来自llama.cpp的发布说明。发布说明提到,这次提交由dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF在Mac Studio、M5 Ultra、256GB环境下协助完成,但说明没有给出性能或效果数据。

发布页同时列出了多种平台的预编译包,包括macOS、iOS、Linux的CPU以及Vulkan、CUDA、ROCm、OpenVINO、SYCL等后端,Windows、Android和Snapdragon相关构建,以及UI包。md文件提到部分构建被标记为DISABLED,例如macOS arm64的KleidiAI版本和openEuler相关包。

llama.cpp发布版本b12072,提交说明为“llama : drop the redundant cnv from llm_attn_mask (#31558)”。根据发布说明,这次改动把dspark block mask改为在输入填充阶段推导:llm_attn_mask::block_uniform会把一个序列中每个token的掩码行填充为它第一个token的掩码行,因此dflash中图级别的reshape/repeat被移除,cnv现在始终与raw等同。

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观