llama.cpp b10871发布:为RDNA4显卡新增Vulkan专用iq4_xs矩阵-向量着色器
新版为dmmv路径加入专用mul_mat_vec_iq4_xs着色器,取代通用回退逻辑,据称可在RDNA4上带来约 6% 到 17% 的token生成速度提升,具体取决于模型。
AI解读:这次更新解决的直接问题是:此前在RDNA4(AMD RX 9000系列)显卡上运行Vulkan后端时,量化模型iq4_xs的矩阵-向量乘法走的是通用回退路径,性能有浪费。新版本为这条路径专门写了着色器,把关键计算从通用代码里拆出来,针对RDNA4做了优化。
对使用llama.cpp配合AMD显卡跑量化模型的用户,最直观的变化是token生成速度可能快一些,尤其本地推理时每步都能省下一点时间。不过注意,6% 到 17% 是开发者贡献说明里的数值,实际效果因模型而异,需要自己跑基准测试确认;对其他显卡或CPU后端,这次改动没有直接提升。
另外,这次贡献说明里出现了“Pi agent with Qwen3.8 27B”这样的AI辅助信息,说明代码里可能有AI参与的成分,但核心逻辑仍是针对Vulkan/shader的实际优化。如果你不是AMD RDNA4用户,或主要用CUDA/ROCm,这个版本对你没有实质变化,也不需要急着升级。
llama.cpp发布b10871版本,为Vulkan后端新增了专用于iq4_xs量化的矩阵-向量乘法着色器(mul_mat_vec_iq4_xs),用于dmmv(dequantize-multiply-matrix-vector)路径,替代此前使用的通用回退实现。据release说明,该改动在RDNA4显卡上可带来约 6% 至 17% 的token生成速度提升,具体数值取决于模型。
shader细节与辅助工具
本次提交(PR #28426)实现了专门的mul_mat_vec_iq4_xs着色器,并移除了n_it展开分支中的死代码。此外,贡献说明提到该工作由“Pi agent with Qwen3.8 27B”提供辅助,这表明开发者使用了AI工具进行编码协助,但核心功能仍针对Vulkan的dmmv路径优化。