llama.cpp b11388发布:imatrix支持基于激活值计算新格式GGUF统计量
该版本为imatrix新增 --activation-statistics参数,用激活值计算熵、余弦相似度与L2范数等统计量;默认不使imatrix体积翻倍,并新增ECS指标、调整聚合报告布局,同时处理外部NextN草稿文件。
AI解读:llama.cpp发布b11388版本,主要变更在imatrix工具:新增对使用激活值计算统计量的支持,用于新的GGUF格式imatrix。
新增命令行参数 --activation-statistics;按变更说明,其默认逻辑会避免让imatrix体积翻倍。
统计量包括激活值的熵、基于激活值的余弦相似度、L2范数、聚合(按层)L2范数、每层激活平方和,以及新增的Euclidean–Cosine Score(ECS);ZD Score改为双尾。
改动还涉及:新增compute_layer_statistics() 函数、调整聚合统计报告布局、修正calc_mode = 1 时的L2范数打印、重命名报告标题、按imatrix类型调整统计输出排序。
该提交由compilade与Sigbjørn Skjæret共同参与,并通过PR #14891 合入;发布页同时列出macOS、Linux、Windows、Android等平台多个二进制包下载链接,其中macOS KleidiAI与openEuler部分包标注为DISABLED。
llama.cpp发布b11388,核心变更是imatrix工具支持基于激活值计算统计量,用于新格式(GGUF)imatrix,对应PR #14891。
b11388中imatrix的改动
据发布说明,该提交让imatrix使用激活值来计算统计量,并加入计算模式判断。新增 --activation-statistics参数,来源称其逻辑默认会避免使imatrix体积翻倍。
统计输出方面,变更包括:为激活值计算熵、基于激活值的余弦相似度、L2范数;新增compute_layer_statistics() 函数;计算聚合(按层)L2范数;更新每层激活平方和的聚合值;ZD Score改为双尾;新增Euclidean–Cosine Score (ECS)。
- 新增参数:--activation-statistics
- 新增指标:Euclidean–Cosine Score (ECS);ZD Score改为双尾
- 新增函数:compute_layer_statistics()
- 报告调整:更新聚合统计报告布局、修正calc_mode = 1 时L2范数打印、重命名报告标题、按imatrix类型更新统计输出排序
- 其他:处理外部NextN草稿文件(-md / --model-draft);重构以使用新的llama_batch_ext
署名与构建产物
提交说明列出co-authored-by: compilade、Sigbjørn Skjæret。发布页同时给出macOS/iOS、Linux、Android、Windows、openEuler与UI的下载链接。其中macOS Apple Silicon (arm64, KleidiAI enabled) 与openEuler全部条目标注为DISABLED,并分别引用PR #23780 与PR #23705。