llama.cpp b10734发布:为M5+/A19+启用Metal 4.0张量API
新版本将Metal语言版本提升至 4.0,从独立metallib加载张量API内核,面向Apple M5及以上芯片和A19系列设备。
AI解读:在这些芯片上运行本地大语言模型时,计算内核将通过更底层的Metal 4.0接口执行,官方希望这能更好地利用新一代GPU架构的硬件特性,从而提升推理性能。改动包括将Metal语言版本请求为 4.0、从独立的metallib文件加载内核(便于管理和测试),并新增了外部metallib的回归测试。
对于普通用户,如果你不是M5或A19设备,这次更新不会带来直接影响;如果你是这些新硬件的开发者或用户,可以尝试更新到b10734,并观察推理速度和稳定性的变化——但官方目前没有给出具体的性能数据,实际效果仍需自行验证。
llama.cpp发布b10734版本,核心改动是为Apple M5及以上芯片和A19系列设备启用Metal 4.0张量API(pull request #27461)。
该版本将Metal语言版本请求提升至 4.0,张量API内核改为从独立的metallib文件加载,并增加了外部metallib的回归测试,同时修复了内核的构建顺序。
针对macOS Apple Silicon arm64的KleidiAI启用版本此次被标记为DISABLED(关联pull request #23780),未随b10734提供。