llama.cpp发布b11799:SYCL后端加入q8快速反量化
llama.cpp的新构建版本b11799将SYCL的q8快速反量化(fast dequant)列为该版本改动,提交编号为 #30775,并同步提供各平台预编译包。
AI解读:这次更新面向使用llama.cpp SYCL后端处理q8量化模型的场景。来源只给出“q8 fast dequant”这一改动标题,没有附带性能数据,因此无法据此判断提速幅度。
预编译包覆盖macOS、iOS、Linux、Android和Windows;Linux与Windows的SYCL构建都有x64版本,Ubuntu还区分SYCL FP32与FP16两种包,使用者需按自身精度配置选择。
llama.cpp发布构建版本b11799,版本说明中的改动为“sycl: q8 fast dequant (#30775)”,即为SYCL后端加入q8快速反量化。
该版本同时提供macOS/iOS、Linux、Android、Windows与UI的预编译产物下载。
SYCL q8改动的适用范围
按版本说明,改动对象是SYCL后端下的q8反量化路径。来源没有给出加速比例、测试硬件或与其他后端的对比结果,因此只能确认该改动进入b11799构建,具体收益需要使用者自行在目标设备上验证。
SYCL相关预编译包包括Ubuntu x64的SYCL FP32与SYCL FP16两种,以及Windows x64 (SYCL) 包。
各平台构建与已知禁用项
版本说明列出macOS Apple Silicon(arm64)、macOS Intel(x64)、iOS XCFramework,Linux下Ubuntu x64/arm64/s390x的CPU包及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1等变体,Android arm64的CPU与Snapdragon包,Windows的CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm包,以及Linux arm64 Snapdragon包。
版本说明将macOS Apple Silicon的KleidiAI启用版标为DISABLED(对应PR #23780),openEuler构建同样标为DISABLED(对应PR #23705)。
- b11799的改动条目为sycl: q8 fast dequant (#30775)。
- Ubuntu与Windows均提供CUDA 12和CUDA 13两套x64包,并附对应cudart库。
- KleidiAI版macOS arm64包与openEuler包在本次发布中处于禁用状态。