开源litellm Releases·原文 2026年11月11日

LiteLLM发布v1.110.0-rc.1,新增非流式请求total_timeout总超时限制

这是预发布版本(rc.1),Docker镜像已用cosign签名;发布说明列出了工具调用、代理超时、路由与Redis批处理范围等多项修复,其中把通配符 /model/info行的计价方式改为按实际路由到的模型计价,被标记为破坏性变更。

AI解读:LiteLLM发布v1.110.0-rc.1预发布版本,Docker镜像(ghcr.io/berriai/litellm:v1.110.0-rc.1)已用cosign签名。发布说明称可用固定commit e82a3c6的cosign.pub或发布标签下的cosign.pub校验签名,前者因commit哈希不可变而更可靠。

新增feat(proxy):total_timeout用来约束整个非流式请求的总时长。这是本版新增的功能,具体默认值和配置方式发布说明未展开。

一项被标记为破坏性变更(!)的修复:展开后的通配符 /model/info行改为按调用实际路由到的模型计价,此前这些行的计价方式不同。升级前需核对依赖这些行计价的账单与预算逻辑。

其余变更包括:接受强制调用OpenAI托管工具的tool_choice;无key时 /key/info返回 400 而非 500;Gemini 3.1-pro-preview的Flex超 20 万token缓存读取价格补入;代理的ownership与scope处理对齐;Admin UI的预算重置时间标注UTC。

向rc/1.110.0回合并(backport)了多项修复:流中请求回退、每请求Redis批处理范围泄漏、路由注册表锁;另有路由性能优化(跳过未使用的deployment读取、缓存Anthropic能力探测)。发布说明列出的测试改动较多,部分为集成测试在rc分支上的修复。

LiteLLM发布v1.110.0-rc.1,这是 1.110.0 的候选发布版本。发布说明称所有LiteLLM Docker镜像均用cosign签名,本次签名使用commit e82a3c6引入的密钥。

本版新增proxy的total_timeout,用于约束整个非流式请求的总时长;同时包含一项被标记为破坏性变更的计价修复:展开后的通配符 /model/info行按调用实际路由到的模型计价。

签名校验:固定commit哈希或发布标签

发布说明给出两种cosign校验方式:用固定commit哈希e82a3c646908ba0a6ee0beddc4310d7a6cac4065下的cosign.pub,或用发布标签v1.110.0-rc.1下的cosign.pub。说明称commit哈希在密码学上不可变,因此前者是确认所用签名密钥的最强方式;标签方式更易读,但依赖仓库的标签保护规则。

预期输出为两条检查项:cosign声明已验证,签名已用指定的公钥验证。命令示例针对镜像ghcr.io/berriai/litellm:v1.110.0-rc.1。

本版变更:超时、工具调用与计价

发布说明列出的变更中,feat(proxy) 的total_timeout是本版新增功能,范围为整个非流式请求。completion修复让工具调用接受强制OpenAI托管工具的tool_choice。

计价相关有两处:被标记为破坏性变更的一项把展开后的通配符 /model/info行按调用实际路由到的模型计价;另一项向gemini-3.1-pro-preview行补入Flex超 20 万token的缓存读取价格。

其他修复包括:无key时 /key/info返回 400 而非 500;代理的ownership与scope处理对齐;Admin UI为每个预算重置时间标注UTC;lite logout无法检查OS密钥链时结束本地登录;Bedrock按AWS调用方推导web identity会话策略。

  • total_timeout:约束整个非流式请求的总时长(新增proxy功能)
  • 通配符 /model/info行:按实际路由到的模型计价(标记为破坏性变更)
  • /key/info:无key时由 500 改为返回 400

路由、Redis与性能修复

发布说明称向rc/1.110.0回合并(backport)了流中请求回退、每请求Redis批处理范围泄漏、路由注册表锁修复。路由性能方面,回调过滤步骤跳过未使用的deployment读取,并缓存Anthropic能力探测。

accounting修复停止投递指标在每次flush时扫描保留的收据。发布说明同时列出多项测试修复,包括更新过时的集成测试预期、修复rc/1.110.0上的四个集成测试、去掉Gemini长解码测试中的空字符串n情形,以及更新仍预期旧记账队列的花费测试。

信息来源

litellm Releases原始来源

更多

新闻专题
外观