llama.cpp b10969发布:Ubuntu CUDA构建进入官方release
llama.cpp的b10969版本把Ubuntu的CUDA 12.8与 13.3 构建(x64和arm64)加入官方release,NCCL因许可证未确认被移除。
AI解读:llama.cpp这次更新的重点不是推理性能,而是分发:官方release开始提供Ubuntu平台的CUDA构建,覆盖 12.8 和 13.3 两个版本,并同时支持x64与arm64架构。
在Linux上装过CUDA版llama.cpp的人大多经历过自己配编译环境的麻烦,现在可以直接下载对应压缩包和匹配的CUDA运行库。不过Windows端的CUDA包仍然只有x64的 12.4、13.3,以及arm64的 13.4,平台之间并不完全对齐。
NCCL原本被加入打包流程,最终因许可证尚未确认被移除,说明这项功能仍在等待法务确认。如果你依赖多卡NCCL通信,这次发布暂时还用不上;普通单卡或单机推理用户不受影响。
llama.cpp发布b10969版本。据其GitHub release页面,本次CI变更为“add ubuntu-cuda builds to release”(#28186),即把Ubuntu的CUDA构建加入官方发布流程:CUDA 12.8与CUDA 13.3,各覆盖x64与arm64。
release说明同时列出CUDA运行库(cudart)分发包,供Ubuntu CUDA用户配套下载;Windows侧的CUDA包编号与Ubuntu不同,Windows x64提供CUDA 12.4与 13.3,Windows arm64提供CUDA 13.4。
变更日志中提到,CUDA arm64构建在CI中使用GCC 14,并需要安装git以获取CCCL和NCCL许可证;同时为避免打包的cudart中出现重复文件做了处理。
日志最后一行写明:在许可证确认之前,移除NCCL。此前步骤中曾包含复制NCCL许可证、用CURL获取NCCL许可证等内容。
本次release新增的Ubuntu CUDA包
b10969的release页面列出Ubuntu x64(CUDA 12)和Ubuntu x64(CUDA 13)两个包,分别对应CUDA 12.8和CUDA 13.3;同时列出Ubuntu arm64(CUDA 13),对应CUDA 13.3。每个包旁边都附有一个单独的“CUDA 13.3 libraries”或“CUDA 12.8 libraries”压缩包,即cudart运行库。
这些包与既有的Ubuntu CPU、Vulkan、ROCm 10.0、OpenVINO(2026.3.1)、SYCL FP32/FP16包并列发布。
- Ubuntu x64(CUDA 12):llama-b10969-bin-ubuntu-cuda-12.8-x64.tar.gz
- Ubuntu x64(CUDA 13):llama-b10969-bin-ubuntu-cuda-13.3-x64.tar.gz
- Ubuntu arm64(CUDA 13):llama-b10969-bin-ubuntu-cuda-13.3-arm64.tar.gz
- 配套运行库:cudart-llama-b10969-bin-ubuntu-cuda-12.8-x64.tar.gz、cudart-llama-b10969-bin-ubuntu-cuda-13.3-x64.tar.gz、cudart-llama-b10969-bin-ubuntu-cuda-13.3-arm64.tar.gz
CI调整细节与NCCL的处理
当次变更commit信息显示,新增了release中的ubuntu-cuda build job,覆盖 12.8 与 13.3 两个CUDA版本以及x64、arm64两种架构。
为在CUDA arm64构建中工作,CI引入GCC 14;为了让CCCL获取正常进行,CI安装了git,并在clone/checkout前完成安装。日志中还提到设置bash、对齐Windows的CI命名、把llama.cpp仓库加入git白名单、使用 $GITHUB_WORKSPACE等调整。
关于NCCL:日志指出Linux上NCCL是预编译可用的,因此需要额外分发NCCL;后续步骤包括复制NCCL许可证、安装CURL以获取NCCL许可证,最后一条commit行明确写着“在许可证确认前移除NCCL”。这意味着本次发布中NCCL并未被打包。
release页面未提供NCCL重新加入的时间表,也未说明许可证确认的进展。
- CUDA arm64构建使用GCC 14
- CI需安装git以fetch CCCL、并处理NCCL许可证
- 打包cudart时避免重复文件
- NCCL因许可证未确认被移除
其他平台包与禁用项
macOS/iOS方面,提供macOS Apple Silicon(arm64)、macOS Intel(x64)和iOS XCFramework;其中“macOS Apple Silicon(arm64, KleidiAI enabled)”标注为DISABLED,并指向PR #23780。
Android仅列出arm64(CPU)一个包。Windows则包含CPU(x64、arm64)、arm64的OpenCL Adreno、x64的CUDA 12.4与 13.3、arm64的CUDA 13.4、x64的Vulkan、OpenVINO 2026.3.1、SYCL和ROCm 10.0。openEuler全部标注为DISABLED,指向PR #23705。
仓库还单独提供UI包:llama-b10969-ui.tar.gz。
- macOS Apple Silicon KleidiAI版本:DISABLED(PR #23780)
- openEuler x86/aarch64各版本:DISABLED(PR #23705)
- Android仅arm64(CPU)
- Windows CUDA版本号与Ubuntu不一致