llama.cpp b11789发布:OpenCL后端为GEMM增加dp4a变体
该版本发布说明显示,本次改动在OpenCL后端为GEMM增加dp4a变体并采用向量化的激活加载,同时重命名了相关kernel和env vars;其余内容为各平台预编译产物的更新。
AI解读:这条记录只覆盖OpenCL后端的这一项改动,发布说明没有给出性能数据、适用GPU型号或精度影响,因此无法据此判断实际加速幅度。
该版本同时提供了macOS、Linux、Windows、Android等平台的预编译包,其中Windows arm64提供OpenCL Adreno构建;但发布说明没有说明dp4a变体默认启用,还是需要设置环境变量或选择特定后端。
macOS Apple Silicon的KleidiAI构建和openEuler相关构建在本次发布中标注为DISABLED,这是发布说明给出的发布状态,不代表dp4a改动本身的影响。
llama.cpp发布b11789版本。发布说明列出的代码改动为:在OpenCL后端为GEMM增加dp4a变体,并使用向量加载激活值,同时重命名了相关kernel和env vars(PR #30753)。
该版本说明同时列出了各平台的预编译产物下载链接,包括macOS/iOS、Linux、Android、Windows等;发布说明未给出这项OpenCL改动的性能数据或基准结果。
本次代码改动
根据发布说明,提交标题为“opencl: add dp4a GEMM variants to vector load activation (#30753)”,要点包括:为GEMM增加带dp4a的变体,采用向量加载激活值;以及重命名kernel和env vars。
- 改动范围:OpenCL后端的GEMM路径。
- 发布说明未说明该变体在哪些GPU上启用、是否默认启用,也未给出速度或精度对比。
发布产物与状态
该版本提供macOS Apple Silicon、macOS Intel、iOS XCFramework、Ubuntu(CPU/Vulkan/CUDA/ROCm/OpenVINO/SYCL)、Windows(CPU/CUDA/Vulkan/OpenVINO/SYCL/ROCm)、Android以及Snapdragon相关构建的下载链接。
发布说明中,macOS Apple Silicon的KleidiAI构建和openEuler相关构建标注为DISABLED,并分别链接到对应的PR。
- Windows arm64提供OpenCL Adreno构建包。
- Android与Linux arm64提供Snapdragon的CPU、Adreno GPU、Hexagon NPU构建包,并附设置指南链接。