开源litellm Releases·原文 2026年10月2日

LiteLLM发布v1.105.0-dev.2:新增litellm.agent()、代理成本ROI计算器等

这是LiteLLM的一个开发版发布,主要变化包括新增litellm.agent() 用于通过网关运行Claude Code、Codex、OpenCode等代理,以及代理成本对比合并PR的原生ROI计算器。

AI解读:LiteLLM发布v1.105.0-dev.2,这是一个开发版本。最值得注意的变化是新增litellm.agent(),可以在LiteLLM网关里直接运行Claude Code、Codex、OpenCode和Deep Agents等代理工具,把代理调用也纳入统一的网关管理和计费路径。

围绕代理场景,这次还加了身份注册、仪表盘控制、基于Entra的身份认证、代理权限强制,以及按虚拟密钥追踪Lens工作器花费。对于已经在用LiteLLM做多模型路由的团队,代理和追踪正在从附加功能变成网关的核心组成部分。

追踪和成本仍是量最大的改动:新增Rust存储基础、OTLP摄取迁移、ClickHouse自动存花费、S3按小时分区等。同时修复了多处凭据泄露路径,包括从spend log请求体和WebSocket透传中剥离调用方凭据。

这些改动大多来自一次性合并的大量PR,版本仍为dev预发布,因此具体行为可能随时变化,不适合作为稳定版直接上线。Docker镜像已用cosign签名,官方推荐用固定的commit哈希而非发布标签来校验签名。

LiteLLM发布了v1.105.0-dev.2,这是一个开发版本,包含大量PR变更。发布说明显示,该版本新增litellm.agent(),用于通过LiteLLM AI网关运行Claude Code、Codex、OpenCode和Deep Agents。

LiteLLM是一个开源的多模型代理与网关项目。所有LiteLLM Docker镜像均使用cosign签名,每个版本都用commit 0112e53引入的同一密钥签名。官方推荐使用固定的commit哈希校验,因为commit哈希在密码学上不可变;也可以使用发布标签校验,但这一方式依赖标签保护规则。

新增litellm.agent(),把编码代理接入网关

发布说明将“新增litellm.agent() 以通过AI网关运行Claude Code、Codex、OpenCode和Deep Agents”列为本次的变化之一。这意味着这些代理工具可以通过LiteLLM网关统一调用,而不是各自单独配置。

同一批变更中还包含多项围绕代理的能力:强制权威代理权限、认证Entra身份和委托请求、新增身份注册与仪表盘控制。

  • 新增litellm.agent(),支持Claude Code、Codex、OpenCode和Deep Agents通过网关运行。
  • 新增代理身份注册和仪表盘控制。
  • 新增对Entra身份及委托请求的认证。
  • 新增对权威代理权限的强制执行。

成本与定价:原生ROI计算器与批量价格更新

发布说明提到新增代理原生ROI计算器,用于对比网关花费与合并PR。同一版本还包含大量成本映射(cost-map)更新,例如新增OpenAI gpt-image-2.5批量价格、Fireworks优先级价格,以及Vertex AI gemini-3.8 flash TTS定价。

成本计算方面还修复了多项问题,包括超过 272k的ultrafast提示按ultrafast长上下文费率计费、自定义定价部署的服务层级按目录费率计费,以及将已完成批量成本行归因到 /batches。

  • 新增原生ROI计算器,对比网关花费与合并PR。
  • 新增OpenAI gpt-image-2.5批量价格。
  • 新增Fireworks ember-1、nemotron和glm 5.3的优先级价格。
  • 新增vertex_ai gemini-3.8 flash TTS定价行。
  • 修复超过 272k的ultrafast提示计费费率。

追踪基础设施:Rust存储、OTLP与ClickHouse

发布说明列出多项追踪相关新增:新增Rust存储基础、将OTLP摄取迁移到当前追踪基础、新增ClickHouse自动存储花费,以及修正ClickHouse rollup分区、去重键和保留策略变更。

UI方面新增了日志中的代理追踪标签页,带时间线和OTel设置指南;代理追踪可在侧边抽屉中以聊天式运行视图打开;Lens中加入了追踪和设置入口。

  • 新增Rust存储基础。
  • OTLP摄取迁移到当前追踪基础。
  • ClickHouse自动存储花费。
  • 日志新增代理追踪标签页,含时间线和OTel设置指南。
  • Lens中新增追踪与设置入口。

安全与凭据处理

本次包含多项与凭据处理相关的修复。发布说明提到,代理在存储的spend-log请求中不再保留请求体凭据,WebSocket透传中也会剥离调用方凭据,并在花费日志中记录请求是否使用了客户端转发的Anthropic OAuth token。

此外还新增了对 /v1/rag/query上密钥/团队vector_stores允许列表的强制执行,并按用户显示发现某工具的密钥所有者。

  • 存储的spend-log请求中不再保留请求体凭据。
  • WebSocket透传中剥离调用方凭据。
  • 记录请求是否使用客户端转发的Anthropic OAuth token。
  • 对 /v1/rag/query强制执行密钥/团队vector_stores允许列表。
  • 显示发现某工具的密钥所有者。

其他值得注意的变更

发布说明还列出新增Cortecs作为OpenAI兼容提供商、新增s3_partition_granularity选项以支持按小时分S3目录、新增LITELLM_DISABLE_LAZY_ROUTES以在启动时注册可选路由,以及对缓冲区响应按客户端接受情况启用gzip。

  • 新增Cortecs作为OpenAI兼容提供商。
  • 新增s3_partition_granularity,支持按小时S3目录。
  • 新增LITELLM_DISABLE_LAZY_ROUTES,启动时注册可选路由。
  • 对接受的客户端启用缓冲区响应gzip。
  • 测试目录重构:代理测试迁入tests/unit/proxy,旧代理测试树删除。

信息来源

litellm Releases原始来源