LiteLLM发布v1.111.0-dev.2,新增客户组织层级预算与使用追踪
BerriAI的LiteLLM仓库发布预发布版本v1.111.0-dev.2。发布说明列出了对代理层客户预算、组织、团队和成员的管理功能,以及cosign镜像签名验证方式。这是开发版,不是正式版。
AI解读:该版本为开发预发布版(dev.2),发布者为litellm-release机器人;发布说明主要列出合并的PR和签名验证方法。
代理层新增按客户组织、团队、成员执行的预算和限额(PR #51489);新增客户用量追踪与明细查看(#51495),以及客户组织、团队、成员管理界面(#51507)。
预算功能扩展包括:支持按年度日历周期重置(#51508)、多窗口限额、命名模板、团队覆盖和pause_allow_increase(#51582);预算告警覆盖客户组织、团队和成员(#51579)。
未知客户ID的处理发生变化:从拒绝改为不记录地放行(#51548);未知客户组织别名会被注册为新组织并计费(#51637)。
路由与限流方面,动态限流器v3从Redis读取模型饱和状态,使各worker保持一致(#51519);fallback_on_saturation在模型饱和前先走key和团队的fallback(#51439)。
所有LiteLLM Docker镜像使用cosign签名;本次签名密钥来自commit e82a3c6,发布说明推荐用固定commit hash校验,用发布标签校验相对方便但依赖标签保护规则。
BerriAI的LiteLLM仓库发布v1.111.0-dev.2(litellm-release[bot] 发布,属开发预发布版)。发布说明把重点放在代理层的客户组织、团队、成员预算控制上,并给出用cosign校验镜像签名的命令。
发布说明称,该版本所有Docker镜像都用cosign签名,签名密钥来自commit e82a3c6;推荐用固定commit hash拉取公钥校验,用发布标签校验依赖标签保护规则。
客户层级预算与用量追踪
发布说明列出多项代理层(proxy)功能,围绕“客户”这一层级展开:在请求路径上执行客户组织、团队和成员的预算与限额(#51489);结算后的客户预算跨worker生效(#51568);客户预算汇总、按预算行窗口重置、命名模板、团队覆盖、多窗口限额和pause_allow_increase(#51582)。
用量侧,proxy增加客户用量追踪和明细查看(#51495);UI显示客户组织用量和预算利用率(#51483);spend logs里显示客户身份(#51596);预算告警覆盖客户组织、团队和成员(#51579)。
- 预算重置支持年度日历周期(#51508)
- 客户组织默认预算模板可在创建时按名称选、在patch时按ID选(#51636)
未知客户与路由、限流的调整
未知客户ID的行为被改为不拦截:以未知客户ID发起的请求会以不被追踪的方式运行,而不是拒绝(#51548);未知客户组织别名会被注册为新组织,并向该组织计费(#51637);未知客户成员被登记到别名组织的默认团队(#51546)。
限流与路由方面,动态限流器v3改为从Redis读取模型的饱和状态,使所有worker对是否饱和取得一致判断(#51519);另一个修复让被设上限的借用方在饱和时保有自身上限并拿到新的份额(#51494)。router_settings.fallback_on_saturation在模型饱和前先走key和团队的fallback,取代原来的team model_preferences(#51439)。
- 限流器v3修复:饱和状态从Redis共享读取(#51519)
- Redis相关改动:健康检查的部署状态、router_usage计数、会话pin改由原生存储提供(#50357、#50862、#50870),Python版RedisBatch被Rust替换(#51383)
模型目录与成本表的更新
发布说明还列出多项成本表和模型目录的改动:fireworks的deepseek v4 flash后继指向deepseek-v4p1-flash(#51478);Bedrock跨区域计价在Messages上保留(#51479);新增Together的thinkingmachines/Inkling-2-Small(#51501)、fal_ai按视频秒计价的gemini-omni-flash升档(#51500)和按每条 0.15 美元计价的decart/lucy-5b图生视频(#51551)。OpenAI方面,gpt-5、gpt-5-mini、gpt-5-nano、gpt-5-pro、o3和o3-pro的后继被指向GPT-6模型(#51492);gpt-4o-mini音频与realtime预览快照记录后继(#51563)。Databricks的databricks-gemini-3-6-flash记录了 11 月 19 日退役和后继(#51593)。
- 依赖修复:soupsieve升级以避开GHSA-4j63-6c4x-wfg4和GHSA-mmhr-3c5m-f64f(#51585)
- 企业包litellm-enterprise从 0.1.84 升到 0.1.85,litellm-proxy-extras从 0.4.115 升到 0.4.116(#51643)
- 新贡献者:@maciej-berri、@saruar-dev、@brianhong-dev
签名校验的两种方式
发布说明要求用cosign校验镜像签名,并给出两条命令:一条以commit e82a3c6的原始文件URL取公钥,发布说明称这是推荐方式,因为commit hash不可变;另一条以发布标签v1.111.0-dev.2取公钥,读起来更方便,但依赖仓库的标签保护规则。
发布说明给出的预期输出为:cosign claims已验证、签名已用指定公钥验证。签名验证通过只说明镜像来自持有对应私钥的一方,并不覆盖镜像内代码的安全性。