llama.cpp b12060加入Clover模型支持
该版本通过PR #31306 为Clover增加GGUF转换、模型加载和因果混合注意力,目前仅支持AR-only的MoE形态。
AI解读:发布页同时列出macOS、Linux、Windows、Android等多平台预编译包,属于常规构建产物。
来源只描述功能合并,未给出Clover模型的评测或性能数据。
llama.cpp发布b12060版本,新增Clover模型支持,对应PR #31306。发布说明将范围限定为AR-only的Clover MoE,并包含GGUF转换、模型加载和因果混合注意力。
根据发布说明,这次实现复用了共享注意力、递归状态、MoE和LoRA辅助代码,转换阶段用filter_tensors过滤Clover张量,命名上采用标准ssm_a张量名。
Clover支持的具体范围
发布说明写明新增的是“AR-only Clover MoE support”,即只覆盖自回归(AR)形态的Clover混合专家模型,没有提及扩散或其他非自回归变体。
配套改动包括GGUF格式转换、模型加载以及因果混合注意力。发布说明还提到更新tests/test-llama-archs.cpp中的架构测试。
- PR编号:#31306
- 模型形态:AR-only Clover MoE
- 新增能力:GGUF转换、模型加载、因果混合注意力
- 代码复用:共享注意力、递归状态、MoE、LoRA辅助代码
- 张量处理:转换时用filter_tensors过滤Clover张量;改用标准ssm_a命名
构建产物与已知限制
发布页按平台列出预编译包,覆盖macOS Apple Silicon与Intel、iOS XCFramework,Ubuntu的CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL等变体,以及Windows、Android、Linux arm64骁龙等构建。
部分条目在发布页上标注为DISABLED:macOS Apple Silicon的KleidiAI版本,以及openEuler的相关构建。来源未给出Clover模型的效果或速度数据。
- macOS Apple Silicon KleidiAI版本:DISABLED
- openEuler构建:DISABLED
- 来源未提供Clover的评测或性能数据