开源llama.cpp Releases·原文 2026年11月4日

llama.cpp b12080发布:CUDA后端将批量张量读取汇入映射主机内存

该版本合入PR #31391,在CUDA后端对批量张量读取做聚合:小读取走聚合拷贝,大读取使用固定内存DMA;提交说明称描述符使用 128k固定缓冲区。

AI解读:提交信息列出的改动包括:基于流程中已有的检查简化实现、简化批量张量聚合索引、增加条件分派、把主机注册改为RAII,并调整测试以照顾CI耗时。

后续提交进一步区分读取大小:小读取聚合拷贝,大读取使用固定(pinned)内存DMA;新增 8 字节聚合拷贝,描述符改用std::vector,并使用公共缓冲区,描述符固定缓冲区增大到 128k。

提交信息还提到简化流同步、记录主机注册失败,以及在出错时用assert代替返回false。

发布页同时提供macOS/iOS、Linux、Android、Windows等多平台预编译包,含CUDA 12.8/13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL等变体;macOS KleidiAI版本标为DISABLED,openEuler构建同样标为DISABLED。

llama.cpp发布b12080版本,合入master的PR #31391,主题为CUDA后端将批量张量读取汇入映射主机内存。

提交信息列出的改动包括:简化批量张量聚合索引、增加条件分派、把主机注册改为RAII、为聚合小读取并使用固定DMA处理大读取、新增 8 字节聚合拷贝、描述符改用std::vector并使用公共缓冲区、简化流同步,以及把描述符固定缓冲区增大到 128k。

提交信息中的实现调整

提交信息称,实现基于流程中已有的检查做了简化,主机注册改为RAII,并调整测试以顾及CI耗时,出错时用assert代替返回false。

提交信息还提到记录主机注册失败。

  • 批量张量读取汇入映射主机内存(PR #31391)
  • 小读取聚合拷贝,大读取使用固定内存DMA
  • 新增 8 字节聚合拷贝
  • 描述符使用std::vector与公共缓冲区
  • 描述符固定缓冲区增至 128k
  • 简化流同步

发布包与平台范围

发布页列出macOS/iOS、Linux、Android、Windows的预编译包,涵盖CPU、CUDA 12/CUDA 13、Vulkan、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16等变体,并提供Snapdragon的CPU、Adreno GPU、Hexagon NPU构建。

标注为DISABLED的条目包括macOS Apple Silicon的KleidiAI版本,以及openEuler各构建。

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观