开源llama.cpp Releases·原文 2026年10月21日

llama.cpp b11795在 /v1/messages接口支持转发采样参数

该版本由ggml-org发布,提交说明显示 /v1/messages接口可将请求透传,并允许在extra_params下传入llama.cpp采样参数;同时提供macOS、Linux、Windows、Android等多平台预编译包。

AI解读:提交说明写明:不再只复制列出的键,而是把请求透传(pass the request through),并接受extra_params下的llama.cpp参数。

README的 /v1/messages示例中加入了extra_params展示;本次还删除了针对简单功能的测试用例。

发布页同时列出多平台预编译产物,包括macOS arm64/x64、Linux各后端、Windows、Android,以及UI包。

来源为llama.cpp Releases页面的提交说明与构建产物清单,未给出性能或兼容性测试数据。

llama.cpp发布b11795版本,提交说明中的主要变更是服务端在 /v1/messages接口上转发llama.cpp的采样参数(#30856)。

b11795对 /v1/messages的改动

提交说明列出多项改动:最初是在 /v1/messages上转发llama.cpp采样参数;随后改为将请求整体透传,而不是复制列出的键;并把注释从多行改为单行。

按提交说明,服务端现在接受放在extra_params下的llama.cpp参数,/v1/messages的README示例中也展示了extra_params。此外,提交删除了一个针对简单功能的测试用例。

  • 在 /v1/messages上转发llama.cpp采样参数
  • 请求透传,不再复制列出的键
  • llama.cpp参数通过extra_params传入
  • README示例新增extra_params展示

发布产物

发布页列出该版本的预编译包。来源中标注为DISABLED的包括macOS Apple Silicon的KleidiAI版本和openEuler构建。

其余产物覆盖macOS、iOS、Linux、Android、Windows多个后端,以及单独的UI包。

  • macOS:Apple Silicon arm64、Intel x64、iOS XCFramework
  • Linux:Ubuntu x64/arm64/s390x CPU,Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL,以及Snapdragon版本
  • Android:arm64 CPU与Snapdragon(CPU、Adreno GPU、Hexagon NPU)
  • Windows:CPU x64/arm64、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0
  • 另提供UI包

信息来源

llama.cpp Releases原始来源

更多

新闻专题
外观