开源llama.cpp Releases·原文 2026年10月5日

llama.cpp b11418为Clef模型加入视觉输入支持

llama.cpp发布b11418版本,服务端新增Clef模型的视觉输入支持,并保留macOS、Linux、Windows、Android等多平台预编译包。

AI解读:这次更新面向在llama.cpp服务端使用Clef模型的开发者:此前该服务端不支持视觉输入,b11418起可以处理图像输入。

改动由提交PR #29969 完成,发布说明中列出的内部调整包括input_attn_causal改为私有、扩展旧的server_batch::embd、server_batch::token::pos变为多维,以及修复abort、图像token上限和yield_to_queue数据变更等问题。

来源只给出功能合并与预编译包的发布信息,没有提供视觉输入在具体任务上的准确率、速度或显存占用数据,因此无法据此判断效果提升幅度。

预编译包覆盖macOS Apple Silicon与Intel、iOS、Ubuntu(CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL)、Android、Windows及UI等平台;其中macOS KleidiAI版本显示为DISABLED。

llama.cpp的b11418版本发布,提交信息显示服务端新增了对Clef模型的视觉输入支持,对应PR #29969。

该提交同时调整了内部结构:将input_attn_causal移到私有范围,扩展旧的server_batch::embd,把server_batch::token::pos改为多维,并修复了abort、图像token上限以及yield_to_queue修改数据等问题。

视觉输入支持的具体范围

根据发布说明,这次改动是“server: support vision input for Clef”,即让llama.cpp的服务端能够接收Clef模型的视觉输入。发布说明没有说明支持哪些图像格式、分辨率上限,也没有给出使用示例或性能数据。

与视觉输入相关的修复包括图像token上限和yield_to_queue修改数据的问题,说明该功能在合入时处理了token数量限制和队列数据被意外修改的情况。

随版本发布的预编译包

b11418同时提供多平台预编译二进制包,覆盖macOS、iOS、Linux、Android和Windows。Linux方面包含Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12与 13、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及Snapdragon平台(CPU、Adreno GPU、Hexagon NPU)。Windows方面包含CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL和ROCm 10.0等变体。

发布说明中提到,macOS Apple Silicon的KleidiAI启用版本被标记为DISABLED,openEuler相关包也被标记为DISABLED。

来源为GitHub发布页的自动生成内容,没有给出各平台包的测试结果或已知问题列表。

信息来源

llama.cpp Releases原始来源