开源llama.cpp Releases·原文 2026年9月30日

llama.cpp b11284修复OpenVINO对量化权重视图执行GET_ROWS的限制

该版本让量化权重上的视图解析到基础Constant,并把行偏移折叠进gather索引,从而解除此前对带非零偏移的量化src0视图的supports_op拒绝。

AI解读:llama.cpp发布b11284版,核心改动在OpenVINO后端:让GET_ROWS直接跑在权重视图上。此前带非零偏移的量化权重视图会被supports_op拒绝,相关用例因此绕开OpenVINO,这次改动把这道门槛移除了。

做法是收集权重Constant时解析view_src,使量化权重上的视图不再变成动态类型的Parameter;视图的行偏移被折叠进gather索引,而不是去切分反量化子图。

对使用OpenVINO后端跑量化模型的人来说,这意味着此前被拒的vs0 GET_ROWS类计算有机会回到OpenVINO路径。该信息来自版本发布说明,是否在所有模型和硬件上带来实际收益,说明中没有给出数据。

llama.cpp发布b11284版本,主要改动来自OpenVINO后端:让GET_ROWS在来自基础Constant的权重视图上执行(PR #28381)。

此前,OpenVINO的supports_op会拒绝带非零偏移的量化src0视图,使 #28253 中的vs0 GET_ROWS用例无法走OpenVINO路径。该限制在本次改动中被移除。

实现方式是:收集权重Constant时解析view_src,使量化权重之上的视图不再变成动态类型的Parameter;同时把视图的行偏移折叠进gather索引,而不是对反量化子图做切片。

该版本同时给出多平台预编译包下载,包括macOS(Apple Silicon arm64、Intel x64)、iOS XCFramework、Ubuntu(x64、arm64、s390x)、Android、Windows,以及CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO等后端变体。macOS Apple Silicon的KleidiAI构建标记为DISABLED,openEuler构建同样标记为DISABLED。

信息来源

llama.cpp Releases原始来源