开源llama.cpp Releases·原文 2026年10月19日

llama.cpp b11729增加Qwen3双向注意力与dense_2输出投影支持

该版本在Qwen3中支持双向注意力和dense_2输出投影,转换脚本同步读取use_bidirectional_attention字段;发布说明未给出性能数据。

AI解读:llama.cpp发布b11729构建,改动内容包括为Qwen3支持双向注意力(bidirectional attention)和dense_2输出投影。

配套的模型转换脚本在base中读取use_bidirectional_attention字段,使采用该配置的模型在转换时保留这一设置。

贡献者信息显示改动由Grok协助,Sigbjørn Skjæret参与共同编写并更新了conversion/base.py。

发布页只列出该PR(#30607)的代码改动和b11729各平台二进制包下载链接,未提供精度、速度或显存占用的测试数据。

该构建覆盖macOS/iOS、Linux、Android、Windows等平台,包含CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL等后端;openEuler与macOS KleidiAI标注为DISABLED。

llama.cpp发布构建b11729,主要改动是在Qwen3中支持双向注意力和dense_2输出投影(对应PR #30607)。

同一改动让模型转换流程在base中读取use_bidirectional_attention字段,相关修改落在conversion/base.py。

b11729的Qwen3改动

发布说明把b11729的改动概括为“qwen3 : bidirectional attention and dense_2 output projection”,提交记录同时包含转换侧读取use_bidirectional_attention的修改。

提交信息注明由Grok协助,Sigbjørn Skjæret参与共同编写并更新conversion/base.py。

  • 新增Qwen3双向注意力支持
  • 新增dense_2输出投影支持
  • 转换脚本在base中读取use_bidirectional_attention

发布范围与限制

b11729按平台提供预编译包,覆盖macOS Apple Silicon、macOS Intel、iOS XCFramework,以及Ubuntu x64/arm64/s390x的CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL版本,另有Android、Windows和Snapdragon专用构建。

发布页将macOS Apple Silicon的KleidiAI版本和openEuler系列标为DISABLED。

  • 发布说明未给出精度、速度或显存占用的评测结果
  • 是否适用于具体Qwen3模型,取决于该模型是否使用双向注意力或dense_2输出投影配置

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观