LiteLLM发布v1.105.0-dev.2:新增litellm.agent()、代理成本ROI计算器等
这是LiteLLM的一个开发版发布,主要变化包括新增litellm.agent() 用于通过网关运行Claude Code、Codex、OpenCode等代理,以及代理成本对比合并PR的原生ROI计算器。
AI解读:LiteLLM发布v1.105.0-dev.2,这是一个开发版本。最值得注意的变化是新增litellm.agent(),可以在LiteLLM网关里直接运行Claude Code、Codex、OpenCode和Deep Agents等代理工具,把代理调用也纳入统一的网关管理和计费路径。
围绕代理场景,这次还加了身份注册、仪表盘控制、基于Entra的身份认证、代理权限强制,以及按虚拟密钥追踪Lens工作器花费。对于已经在用LiteLLM做多模型路由的团队,代理和追踪正在从附加功能变成网关的核心组成部分。
追踪和成本仍是量最大的改动:新增Rust存储基础、OTLP摄取迁移、ClickHouse自动存花费、S3按小时分区等。同时修复了多处凭据泄露路径,包括从spend log请求体和WebSocket透传中剥离调用方凭据。
这些改动大多来自一次性合并的大量PR,版本仍为dev预发布,因此具体行为可能随时变化,不适合作为稳定版直接上线。Docker镜像已用cosign签名,官方推荐用固定的commit哈希而非发布标签来校验签名。
LiteLLM发布了v1.105.0-dev.2,这是一个开发版本,包含大量PR变更。发布说明显示,该版本新增litellm.agent(),用于通过LiteLLM AI网关运行Claude Code、Codex、OpenCode和Deep Agents。
LiteLLM是一个开源的多模型代理与网关项目。所有LiteLLM Docker镜像均使用cosign签名,每个版本都用commit 0112e53引入的同一密钥签名。官方推荐使用固定的commit哈希校验,因为commit哈希在密码学上不可变;也可以使用发布标签校验,但这一方式依赖标签保护规则。
新增litellm.agent(),把编码代理接入网关
发布说明将“新增litellm.agent() 以通过AI网关运行Claude Code、Codex、OpenCode和Deep Agents”列为本次的变化之一。这意味着这些代理工具可以通过LiteLLM网关统一调用,而不是各自单独配置。
同一批变更中还包含多项围绕代理的能力:强制权威代理权限、认证Entra身份和委托请求、新增身份注册与仪表盘控制。
- 新增litellm.agent(),支持Claude Code、Codex、OpenCode和Deep Agents通过网关运行。
- 新增代理身份注册和仪表盘控制。
- 新增对Entra身份及委托请求的认证。
- 新增对权威代理权限的强制执行。
成本与定价:原生ROI计算器与批量价格更新
发布说明提到新增代理原生ROI计算器,用于对比网关花费与合并PR。同一版本还包含大量成本映射(cost-map)更新,例如新增OpenAI gpt-image-2.5批量价格、Fireworks优先级价格,以及Vertex AI gemini-3.8 flash TTS定价。
成本计算方面还修复了多项问题,包括超过 272k的ultrafast提示按ultrafast长上下文费率计费、自定义定价部署的服务层级按目录费率计费,以及将已完成批量成本行归因到 /batches。
- 新增原生ROI计算器,对比网关花费与合并PR。
- 新增OpenAI gpt-image-2.5批量价格。
- 新增Fireworks ember-1、nemotron和glm 5.3的优先级价格。
- 新增vertex_ai gemini-3.8 flash TTS定价行。
- 修复超过 272k的ultrafast提示计费费率。
追踪基础设施:Rust存储、OTLP与ClickHouse
发布说明列出多项追踪相关新增:新增Rust存储基础、将OTLP摄取迁移到当前追踪基础、新增ClickHouse自动存储花费,以及修正ClickHouse rollup分区、去重键和保留策略变更。
UI方面新增了日志中的代理追踪标签页,带时间线和OTel设置指南;代理追踪可在侧边抽屉中以聊天式运行视图打开;Lens中加入了追踪和设置入口。
- 新增Rust存储基础。
- OTLP摄取迁移到当前追踪基础。
- ClickHouse自动存储花费。
- 日志新增代理追踪标签页,含时间线和OTel设置指南。
- Lens中新增追踪与设置入口。
安全与凭据处理
本次包含多项与凭据处理相关的修复。发布说明提到,代理在存储的spend-log请求中不再保留请求体凭据,WebSocket透传中也会剥离调用方凭据,并在花费日志中记录请求是否使用了客户端转发的Anthropic OAuth token。
此外还新增了对 /v1/rag/query上密钥/团队vector_stores允许列表的强制执行,并按用户显示发现某工具的密钥所有者。
- 存储的spend-log请求中不再保留请求体凭据。
- WebSocket透传中剥离调用方凭据。
- 记录请求是否使用客户端转发的Anthropic OAuth token。
- 对 /v1/rag/query强制执行密钥/团队vector_stores允许列表。
- 显示发现某工具的密钥所有者。
其他值得注意的变更
发布说明还列出新增Cortecs作为OpenAI兼容提供商、新增s3_partition_granularity选项以支持按小时分S3目录、新增LITELLM_DISABLE_LAZY_ROUTES以在启动时注册可选路由,以及对缓冲区响应按客户端接受情况启用gzip。
- 新增Cortecs作为OpenAI兼容提供商。
- 新增s3_partition_granularity,支持按小时S3目录。
- 新增LITELLM_DISABLE_LAZY_ROUTES,启动时注册可选路由。
- 对接受的客户端启用缓冲区响应gzip。
- 测试目录重构:代理测试迁入tests/unit/proxy,旧代理测试树删除。