llama.cpp b11078发布:采样参数可通过环境变量配置,llama-server可完全由EnvironmentFile控制
llama.cpp新构建b11078加入LLAMA_ARG_* 环境变量,支持配置temperature、top-p、min-p及三类惩罚参数,官方称这让llama-server能完全通过EnvironmentFile(如Debian上的systemd)控制。
AI解读:这条更新解决的是一个部署层面的老问题:此前要改llama-server的采样参数只能写在启动命令或配置里,systemd这类环境变量驱动的部署方式照顾不到全部选项。现在温度、top-p、min-p以及重复、存在、频率三类惩罚都能通过LLAMA_ARG_* 环境变量传入。
直接受益的是用EnvironmentFile管llama-server的人,他们可以不改服务文件就把采样行为纳入统一的部署配置。官方只说了“可以完全控制”,没有给出性能或效果数据,实际体验仍取决于你填的参数值。
llama.cpp发布构建b11078,提交说明显示本次改动为若干采样参数新增环境变量支持(PR #27380)。
哪些参数新增了LLAMA_ARG_* 环境变量
根据发布说明,本次允许通过LLAMA_ARG_* 环境变量配置 --temp、--top-p、--min-p、--repeat-penalty、--presence-penalty和 --frequency-penalty。也就是说,温度、top-p、min-p以及重复惩罚、存在惩罚、频率惩罚这几项采样与惩罚设置,都可以改由环境变量提供。
官方给出的用途:让llama-server完全由EnvironmentFile控制
发布说明写明这样做的目的是让llama-server能完全由EnvironmentFile控制,并举例systemd on Debian。发布说明还提到使用llama-gen-docs重新生成readme文件。