Databricks称内部AI编程成本降幅最高达 90%,并将内部网关产品化为Unity Gateway
Databricks AI产品负责人Patrick在对话中称,公司放开AI编程工具使用后成本一度指数级上升,后通过模型切换、路由、预算分层和用量可见性把单位成本压下来;该内部方案已做成Unity Gateway,数千客户在使用。
AI解读:Databricks把自身管理AI编程成本的内部工具产品化为Unity Gateway。Patrick称,所有编程工具流量——包括Claude Code、Codex、Cursor和其自研Omnigent——都经过这一个网关,因此能看到花费流向;目前数千客户使用该产品。
Patrick称公司最初取消使用门槛,向工程师开放最贵模型和不限量token,随后成本呈指数曲线上升,威胁到效率收益。他称如今人均token支出大致持平,而总使用量和价值仍在上升。
降本手段包括把流量迁移到新出的更便宜模型、路由、花费可见性和削减token开销。Patrick称模型切换单独贡献 50% 以上,多项叠加后部分场景单位成本降幅最高达 90%。这些数字来自Databricks自述,未提供可核验的明细。
在模型评测上,Databricks用自身代码库的真实PR构建测试并运行测试判分,不用大模型当裁判。Patrick举例称开源模型GLM 5.2在质量上打平Opus 4.8,单任务成本低约三分之一;另有模型单token便宜 1.7 倍但单任务更贵,因为消耗token更多。
Patrick称统一网关下Smart Router把平均任务成本降低 30% 以上,质量约等于最贵模型。对于前沿模型Astra,公司向约 3500 名工程师开放后支出上升约 60%,随后在网关中为其设独立预算,只用于困难问题。
Databricks对CTO的建议是先弄清AI支出流向,在模型前放置网关汇总流量。Patrick称硬性封顶会打击重度用户并可能促使他们转用个人账号,公司改用预警、审批、降级到便宜模型的渐进摩擦。
Databricks AI产品负责人Patrick在该公司博客的一场对话中称,Databricks全面使用AI编程工具后,成本一度随用量指数级上升,威胁到原本追求的工程效率收益;公司随后建立统一网关来观察和调度模型调用,并把这一内部方案产品化为Unity Gateway。
从放开使用到成本失控
Patrick称,推广初期的问题是没人愿意尝试,于是公司取消了所有限制:使用最贵的模型、token不限量。使用量上来后,由于这类工具按消费量而非按席位计费,单个用户在理论上可以花费不设上限的金额,成本曲线呈指数上升。
他说,当成本增长而收入没有同步增长时就会出问题,公司一度到了成本可能逆转效率收益的地步。他称自己与Coinbase、Uber、Stripe等公司的负责人交流过类似做法。
降本手段与自述数字
Patrick把最有效的做法描述为把流量迁移到新出现的更便宜模型:同一产出、更低价格,开发者无需改动。他称因为所有流量经过Unity Gateway,切换可以在一处完成。
他称模型切换单独贡献 50% 以上,叠加路由、花费可见性和削减token开销后,部分场景单位成本降幅最高达 90%;人均token支出目前大致持平,而总使用量和价值仍在上升。这些均为Databricks单方说法。
在花费控制上,公司放弃硬性封顶,改为逐步升级的摩擦:先警告,再审批,再把用户降级到更便宜的模型,切断作为最后手段。Patrick称定期向每人发送个人花费明细和节省建议,这一项约值 10%。
自建评测与模型选择
Databricks用自己的多百万行代码库中的真实PR构建测试,通过运行测试判分,不用大模型当裁判。Patrick称公开基准与自己代码库差异大,且任务可能泄漏进训练数据。
他给出的例子包括:开源模型GLM 5.2在质量上打平Opus 4.8,单任务成本低约三分之一;一个单token便宜 1.7 倍的模型单任务反而更贵,因为消耗token更多。他还称同一模型换不同harness,成本差异超过 2 倍,仅调优harness和缓存设置就省了近 50%。
前沿模型的预算分层与路由
Patrick称,公司向约 3500 名工程师开放前沿模型Astra后,支出上升约 60%,而它在日常任务上并未明显优于现有模型,部分花费属于把Astra用在了不该用的任务上。随后公司在Unity Gateway中为Astra设独立预算,只用于困难问题。
他称Smart Router把平均任务成本降低 30% 以上,质量约等于最贵模型,用户不必自己决定何时调用贵模型。他认为模型路由会成为竞争领域,并称做好路由需要小而快的模型和实际使用中的研究积累。
对CTO的建议
Patrick的建议是先弄清AI支出流向:多数公司说不清按团队或按模型的AI花费,更无法判断回报。他主张在模型前放置网关汇总所有流量,之后其他优化才容易展开。
他同时提醒不要因此放慢使用,称效率提升是真实的,成本会累积,等待只会让账单更大。