开源litellm Releases·原文 2026年9月15日

LiteLLM发布v1.101.0,Docker镜像改用cosign签名验证

这次发布的说明把镜像签名验证放在最前面:所有LiteLLM Docker镜像都用cosign签名,密钥来自commit 0112e53,推荐用固定commit hash验证而不是发布标签。

AI解读:它解决的问题是供应链信任——你拉下来的ghcr.io/berriai/litellm:v1.101.0到底是不是官方发布的。官方给出两种验证方式:用固定commit hash取公钥(推荐,因为hash不可变),或用发布标签取公钥(方便,但依赖标签保护规则)。

对自托管LiteLLM代理的团队来说,这是部署流程要多加一步的改动:镜像没变,但验证方式被明文写进发布说明,说明官方希望你把签名校验纳入发布链路。普通用户不需要立刻动手,但负责镜像拉取和CI的人应该知道这条命令存在。

同一版本还带了一批功能改动,包括OpenAI的workload identity federation(OIDC token交换)、proxy新增 /v1/responses/input_tokens计数端点、GigaChat原生API passthrough路由、复杂度路由器的modality路由开关,以及friendli新增zai-org/GLM-5.3和GLM-5.3-Flash定价。这些属于常规迭代,是否升级取决于你用不用到对应能力。

LiteLLM发布v1.101.0。发布说明把Docker镜像签名验证放在正文最前面:所有LiteLLM Docker镜像都用cosign签名,每个版本使用同一把密钥,该密钥由commit 0112e53引入。

官方给出两种验证命令。推荐方式用固定commit hash取公钥,理由是commit hash在密码学上不可变;另一种方式用发布标签取公钥,读起来更方便,但依赖仓库的标签保护规则。

验证命令为cosign verify --key <公钥地址> ghcr.io/berriai/litellm:v1.101.0。预期输出包含两项:cosign claims已校验、签名已针对指定公钥验证通过。

版本号从litellm 1.100.0升到 1.101.0,同时litellm-enterprise从 0.1.62 升到 0.1.63,litellm-proxy-extras从 0.4.91 升到 0.4.92。

功能改动包括:OpenAI支持workload identity federation(OIDC token交换);proxy新增 /v1/responses/input_tokens token计数端点;新增GigaChat原生API passthrough路由并带spend logging;complexity-router新增classification_mode,可在续接轮次跳过分类器;complexity_router支持按模态(modality)做能力路由,可对图片请求启用。

模型与定价相关:friendli新增zai-org/GLM-5.3与zai-org/GLM-5.3-Flash定价;新增Azure AI DeepSeek V4 Flash 0731定价;新增Claude Fable 5.1,覆盖Anthropic、Bedrock、Vertex AI和Azure AI;veo 3.1定价分层更新,并汇总了一批registry PR,包括glm-5.2、Qwen3.8-Flash、gemma-4-31b、scribe_v2、fireworks/databricks deepseek v4,以及若干弃用日期。

代理与路由:新增token计数端点、复杂度路由开关

proxy端新增 /v1/responses/input_tokens,用于在发送请求前统计输入token数。

complexity-router新增classification_mode,在续接轮次(continuation turns)跳过分类器;另有改动让过大的prompt在派发前被升级到装得下的层级,以及为图片请求提供可选的按模态能力路由。

UI上,auto-router增加上下文窗口升级控制,以及复杂度auto-router共用的分类频率选择器。

  • 新增 /v1/responses/input_tokens计数端点
  • complexity-router可用classification_mode在续接轮次跳过分类器
  • 超大prompt在派发前升级到可容纳的层级
  • 图片请求支持按模态的路由开关(opt-in)

模型覆盖与定价:GLM-5.3、DeepSeek V4 Flash、Claude Fable 5.1

friendli新增zai-org/GLM-5.3和zai-org/GLM-5.3-Flash的模型定价。Azure AI新增DeepSeek V4 Flash 0731定价。Claude Fable 5.1被加入Anthropic、Bedrock、Vertex AI和Azure AI四个渠道。

成本计算新增按时间段的非高峰定价支持(off-peak pricing)。OCR标注页按annotation_cost_per_page计费。

  • friendli:zai-org/GLM-5.3、GLM-5.3-Flash
  • Azure AI:DeepSeek V4 Flash 0731
  • Claude Fable 5.1:Anthropic、Bedrock、Vertex AI、Azure AI

修复与工程改动:类型清理、迁移解析器、流式响应

类型清理是这批改动中数量最大的部分:一次提交清掉 47 个文件中的Any缝隙,basedpyright上限下调 3,302;另一次清掉 16 个热点文件中的约 1.2k个Any错误;还有一次在 53 个后端文件中清掉约 1.1k个Any错误;再一次把 73 个模块中的Any换成精确类型。

迁移解析器方面,proxy一度默认切到v2 migration resolver、保留v1作为可选退出,随后又被回退为默认v1。

流式与协议修复包括:保持流式分块间response id稳定;在Responses API的chat completions桥接中对对象式tool call参数做JSON编码;修复gpt-5到claude回退会话中tool call id形状导致的问题;Anthropic Messages改用分离的pump排空上游。

其他改动:Bedrock在Invoke上转发原生structured outputs,而不是静默内联schema;MCP跟随上游tools/list分页;Prometheus在客户端失败路径上限制requested_model标签基数;新增Alice guardrail。

  • basedpyright上限下调 3,302
  • proxy默认迁移解析器先切v2后又回退v1
  • Bedrock Invoke转发原生structured outputs
  • MCP跟随上游tools/list分页

信息来源

litellm Releases原始来源