llama.cpp b11801加入SenseNova U1稠密理解分支支持
该版本通过HF-to-GGUF转换与mtmd视觉编码器支持SenseNova U1的理解分支,包含U1.5-8B-MoT;转换时有意拒绝生成分支。
AI解读:转换脚本新增NEOChatModel的HF-to-GGUF转换:排除MoT生成张量,并将时间与空间Q/K归一化权重拼接。
模型侧注册sensenova_u1 GGUF架构与自定义空间RoPE元数据,实现时间/空间Q/K归一化和 4 轴RoPE,并保留U1特有的文本位置处理。
多模态部分加入视觉编码器转换,以及在CPU上运行的mtmd projector图,流程包含patch embedding、GELU、相邻对 2D RoPE、空间下采样与稠密投影,面向动态分辨率图像输入。
提交说明明确:只支持稠密理解分支,生成分支在转换阶段被有意拒绝。说明未给出精度、速度或显存等效果数据。
llama.cpp发布b11801版本,提交记录显示本次改动为新增SenseNova U1模型支持(#28919)。按照提交说明,支持对象是SenseNova U1的稠密理解分支,包括U1.5-8B-MoT模型。
转换与模型侧改动
提交流程从HF到GGUF新增了对NEOChatModel的转换:排除MoT生成张量,并把时间与空间Q/K归一化权重拼接起来。模型侧注册了sensenova_u1的GGUF架构和自定义空间RoPE元数据,实现时间/空间Q/K归一化与 4 轴RoPE,并保留U1特有的文本位置处理。
- 提交称U1的文本位置输入使用 [t, 0, 0, 0],而通用M-RoPE输入使用 [t, t, t, 0]。
- 转换逻辑将只有一个expert的SenseNova U1配置按稠密模型处理。
- 新增sensenova_u1的合成架构覆盖测试。
视觉与范围限制
多模态部分(mtmd)加入了SenseNova U1视觉编码器的转换,并实现其在CPU上的projector图:依次进行patch embedding、GELU、相邻对 2D RoPE、空间下采样和稠密投影,用于动态分辨率图像输入。
- 提交说明写明:只支持稠密理解分支,生成分支在转换时被有意拒绝。
- b11801同时列出macOS、Linux、Windows、Android等平台的预编译包下载,但这些与U1支持无直接对应说明。