LiteLLM发布v1.109.0-dev.2,新增aiand、ZeroGPU等提供方支持
该开发版镜像经cosign签名,发布说明同时列出多项带“!”的破坏性变更,涉及proxy客户列表分页、router、responses、files、OTEL标签和fallback旧兼容层等。
AI解读:新增提供方:aiand(PR #38958)、ZeroGPU作为OpenAI兼容提供方(PR #43874);腾讯Seedream图像生成与编辑经TokenHub接入(PR #48735)。
多项破坏性变更以“!”标记,包括proxy客户列表与用量过滤分页、router的allowed_fails、affinity、child tier pins等逻辑调整、responses计费与参数处理、files作用域、OTEL pass-through标签、去掉fallback旧extends/mixed-rule兼容层等。
router侧新增deployment的rpd/tpd日限额(enforce_model_rate_limits),并修复字符串作为fallback目标、冷却与亲和性冲突等问题。
成本与计费相关:按发布价更新Databricks openjev决策模型为每 1M输入token 0.6 DBU、Mistral Large 4恢复列表价、新增mistral/deepseek-v4-1-flash-1017与Batches、Vertex批量价格等;另新增accounting合同、PricingSnapshot与ledger、durable event ledger writer。
发布说明为项目方BerriAI的发布记录,未附独立评测或生产效果数据;本次为dev版本,标注“!”的变更可能影响升级兼容性。
LiteLLM发布v1.109.0-dev.2开发版。发布说明称所有LiteLLM Docker镜像均用cosign签名,本次发布使用commit e82a3c6引入的密钥;推荐用该固定commit哈希的公钥校验镜像ghcr.io/berriai/litellm:v1.109.0-dev.2,也可用受保护的release tag,但后者依赖tag保护规则。
签名校验与版本性质
发布说明给出两条cosign verify命令:一条指向e82a3c6提交下的cosign.pub,一条指向v1.109.0-dev.2标签下的cosign.pub。项目方称标签受保护并解析到同一密钥;固定commit哈希因不可篡改,被列为“recommended”方式。
版本号为v1.109.0-dev.2,属开发版本。发布说明未提供该版本的稳定版发布时间或回滚说明。
- 签名密钥来源:commit e82a3c646908ba0a6ee0beddc4310d7a6cac4065
- 预期校验输出包括cosign claims已校验、签名已对指定公钥验证
- 校验对象:ghcr.io/berriai/litellm:v1.109.0-dev.2
新增提供方与接口支持
发布说明列出新增ai&(aiand)提供方(PR #38958)、ZeroGPU作为OpenAI兼容提供方(PR #43874),以及腾讯Seedream图像生成与编辑通过TokenHub接入(PR #48735)。
此外,Ollama新增决策模型支持(PR #48871);CLI新增lite codex --subscription以保留ChatGPT登录(PR #48741);同时新增litellm-setup agent skill(PR #47731)。
- aiand提供方:PR #38958
- ZeroGPU:OpenAI兼容提供方,PR #43874
- 腾讯Seedream:经TokenHub做图像生成和编辑,PR #48735
- Ollama决策模型:PR #48871
标“!”的破坏性变更
发布说明用“!”标注若干破坏性变更。proxy侧,客户列表与用量过滤改为分页(PR #48700);model_max_budget支持模型族和访问组条目(PR #47722)。
router侧包括:显式allowed_fails为 3 时按 3 计数,并让fallback deployment不进入冷却(PR #46183);亲和性pin让位于本次请求中已失败的deployment(PR #32309);在user turn模式隔离child tier pins(PR #48701);在Router初始化时拒绝字符串fallback目标(PR #48943)。
responses相关:跳过失败的spend-log轮次以重建会话(PR #48647);拒绝或丢弃chat completions桥接无法翻译的Responses参数(PR #48655);在Claude上对单独Responses内置工具先返回 400(PR #48798);对流中失败计部分用量,并把桥接的 /v1/messages失败上报proxy(PR #47537)。
其他“!”项:files在require_managed_files下将provider与model文件列表限定为调用方管理的文件(PR #47682);OTEL将配置的pass-through路由标记为litellm.passthrough而非chat(PR #48675);移除fallback旧extends与mixed-rule兼容层(PR #48737);count_tokens保留Bedrock计数模型的framed estimate(PR #48805);openai桥接到Responses时发送完整reasoning_effort字典(PR #48807);guardrails的hide-secrets遵循skip_tool_message_in_guardrail(PR #48689);gemini接受Google当前Managed Agents字段(PR #48750)。
- proxy:客户列表与用量过滤分页(#48700)
- router:allowed_fails计数与fallback冷却调整(#46183)
- router:拒绝字符串fallback目标(#48943)
- responses:流中失败计部分用量(#47537)
- files:require_managed_files下限定调用方文件(#47682)
路由、配额与成本表更新
router新增在enforce_model_rate_limits中按deployment设置rpd与tpd日限额(PR #48875);proxy的enforce_project_model_quota支持按提供方和模型设置rpm/tpm要求(PR #47693);另新增从x-litellm-priority请求头接收请求优先级(PR #47618)。
成本表方面,Databricks openjev决策模型按公布价每 1M输入token 0.6 DBU计价(PR #48694);Mistral Large 4在发布促销结束后恢复列表价(PR #48825);新增mistral/deepseek-v4-1-flash-1017(PR #48879)、Databricks优先级按token计价(PR #48891)和Vertex AI的Gemini批量(含 20 万以上)与图像输出批量价格。发布说明还提到移除OpenAI未销售的gpt-5-nano priority输入价,并对GLM 5.3、DeepSeek V4.1 Flash价格做了更新。
- deployment rpd/tpd日限额:PR #48875
- x-litellm-priority请求头:PR #47618
- openjev决策模型:0.6 DBU / 1M输入token
- Mistral Large 4:恢复列表价
accounting与计费基础设施
发布说明新增accounting合同、PricingSnapshot与ledger schema(PR #48862),以及durable event ledger writer(PR #48883)。daily activity增加按guardrail的支出拆分,覆盖用户、团队和组织层面(PR #48702)。
此外,代理端token计数调用改为每次一行日志(PR #47657);对不可计费Batches不再阻塞文件删除与新批次轮询(PR #48752)。
- accounting合同与ledger:PR #48862
- durable event ledger writer:PR #48883
- 按guardrail的每日活动支出拆分:PR #48702