LiteLLM发布v1.110.0-rc.1,新增非流式请求total_timeout总超时限制
这是预发布版本(rc.1),Docker镜像已用cosign签名;发布说明列出了工具调用、代理超时、路由与Redis批处理范围等多项修复,其中把通配符 /model/info行的计价方式改为按实际路由到的模型计价,被标记为破坏性变更。
AI解读:LiteLLM发布v1.110.0-rc.1预发布版本,Docker镜像(ghcr.io/berriai/litellm:v1.110.0-rc.1)已用cosign签名。发布说明称可用固定commit e82a3c6的cosign.pub或发布标签下的cosign.pub校验签名,前者因commit哈希不可变而更可靠。
新增feat(proxy):total_timeout用来约束整个非流式请求的总时长。这是本版新增的功能,具体默认值和配置方式发布说明未展开。
一项被标记为破坏性变更(!)的修复:展开后的通配符 /model/info行改为按调用实际路由到的模型计价,此前这些行的计价方式不同。升级前需核对依赖这些行计价的账单与预算逻辑。
其余变更包括:接受强制调用OpenAI托管工具的tool_choice;无key时 /key/info返回 400 而非 500;Gemini 3.1-pro-preview的Flex超 20 万token缓存读取价格补入;代理的ownership与scope处理对齐;Admin UI的预算重置时间标注UTC。
向rc/1.110.0回合并(backport)了多项修复:流中请求回退、每请求Redis批处理范围泄漏、路由注册表锁;另有路由性能优化(跳过未使用的deployment读取、缓存Anthropic能力探测)。发布说明列出的测试改动较多,部分为集成测试在rc分支上的修复。
LiteLLM发布v1.110.0-rc.1,这是 1.110.0 的候选发布版本。发布说明称所有LiteLLM Docker镜像均用cosign签名,本次签名使用commit e82a3c6引入的密钥。
本版新增proxy的total_timeout,用于约束整个非流式请求的总时长;同时包含一项被标记为破坏性变更的计价修复:展开后的通配符 /model/info行按调用实际路由到的模型计价。
签名校验:固定commit哈希或发布标签
发布说明给出两种cosign校验方式:用固定commit哈希e82a3c646908ba0a6ee0beddc4310d7a6cac4065下的cosign.pub,或用发布标签v1.110.0-rc.1下的cosign.pub。说明称commit哈希在密码学上不可变,因此前者是确认所用签名密钥的最强方式;标签方式更易读,但依赖仓库的标签保护规则。
预期输出为两条检查项:cosign声明已验证,签名已用指定的公钥验证。命令示例针对镜像ghcr.io/berriai/litellm:v1.110.0-rc.1。
本版变更:超时、工具调用与计价
发布说明列出的变更中,feat(proxy) 的total_timeout是本版新增功能,范围为整个非流式请求。completion修复让工具调用接受强制OpenAI托管工具的tool_choice。
计价相关有两处:被标记为破坏性变更的一项把展开后的通配符 /model/info行按调用实际路由到的模型计价;另一项向gemini-3.1-pro-preview行补入Flex超 20 万token的缓存读取价格。
其他修复包括:无key时 /key/info返回 400 而非 500;代理的ownership与scope处理对齐;Admin UI为每个预算重置时间标注UTC;lite logout无法检查OS密钥链时结束本地登录;Bedrock按AWS调用方推导web identity会话策略。
- total_timeout:约束整个非流式请求的总时长(新增proxy功能)
- 通配符 /model/info行:按实际路由到的模型计价(标记为破坏性变更)
- /key/info:无key时由 500 改为返回 400
路由、Redis与性能修复
发布说明称向rc/1.110.0回合并(backport)了流中请求回退、每请求Redis批处理范围泄漏、路由注册表锁修复。路由性能方面,回调过滤步骤跳过未使用的deployment读取,并缓存Anthropic能力探测。
accounting修复停止投递指标在每次flush时扫描保留的收据。发布说明同时列出多项测试修复,包括更新过时的集成测试预期、修复rc/1.110.0上的四个集成测试、去掉Gemini长解码测试中的空字符串n情形,以及更新仍预期旧记账队列的花费测试。