Databricks谈AI智能体ROI难证明：速度不是正确指标
Databricks技术营销经理Amber Roberts在官方博客访谈中称，企业AI采用速度超过ROI验证，买卖双方往往不是同一人；她以 137 位会议演讲嘉宾确认为例，说明可重复任务的价值，并强调质量指标不能缺席。
AI解读：Databricks官方博客发布一篇访谈，受访者为该公司技术营销经理Amber Roberts，主题是企业采用AI智能体后为何难以证明投资回报。
Roberts称，采购AI的人与日常使用它的人常常不是同一批人；采购方出于竞争压力推动成交，随后用六个月到数年时间检验实际回报。
她认为速度不是衡量智能体生产力的正确单一指标，不同团队和个人的KPI不同，工程与营销的生产力也不应使用同一套标准。
她提出传统指标（省下的小时数、关闭的工单数）仍然有效，但需叠加AI专属指标，例如用第三方LLM按自定义标准做评判，检查正确性、幻觉与语气。
她以自身经历举例：为一场会议设置两个智能体，自动联系并跟进演讲嘉宾；最终 137 位嘉宾全部得到联系并确认，仅两人因休育儿假未确认。
她称最常见的错误是在系统尚未跑通时就急于规模化，看似规模化的问题往往是就绪度或基础设施问题。
Databricks官方博客发布一篇署名访谈，受访者是该公司技术营销经理Amber Roberts。她谈论企业采用AI智能体后ROI难以证明、为什么速度是不合适的衡量角度，以及什么样的智能体在工作中有用而非只在演示中好看。
这是公司员工的观点陈述，不是Databricks对客户部署效果的独立验证，文中的案例也来自她个人的工作场景。
ROI缺口：买的人和用的人常常不是同一批
Roberts把采用快、回报难证明的缺口归因于组织内部的分工。她说，采购AI的人与每天使用它的人往往不是同一批人。买家不愿落后，其职位取决于是否处在技术前沿，即使他们并不是实施者；看到竞争对手在采购和部署AI，他们就会想促成交易。
她说，通常要过六个月到几年，才能看出是否真的产生了ROI、花的钱是否值得。她认为很多组织正处在这个阶段：审视已购买的东西、大范围铺开，并弄清哪些用例真正有效，其中包含大量试错。
生产力指标：没有单一替代项
被问及智能体时代应如何定义生产力时，Roberts说，生产力与团队的真实KPI绑定，而KPI因岗位而异。有些团队的工作偏重细节，速度不是最大问题；有些团队延迟就是全部。即便“速度”一词，也分别指开发速度和推理速度。
她说工程生产力与营销生产力并不相同，不应使用同一套衡量方式，因此她不认同存在一个可以直接替换的单一正确KPI，这取决于团队，也取决于个人：从零学习某个领域的人，与已经清楚自己要构建什么、只想把枯燥部分自动化的人，使用AI的方式和看重的价值不同。
她给出一条附带条件：生产力与效率相关，前提是不以牺牲质量为代价。公司若宣称效率提升 40%，只有质量保持稳定时才有意义，否则可能只是用同样的时间、以更多环节产出同样的结果。
她还说，评价人的方式也在变化：面试或带回家的评估中，一个人四小时内独立产出的量不再令人惊叹，是否会善用AI已成为新的基准线，但这不替代对领域的深入理解。
业务上下文与一个 137 人的案例
Roberts用人类助理作比：如果助理不了解你的日程、上下文和过去几个月发生的事，就无法把事做好；同理，通用AI工具能讲清“一般如何加建房屋”，却不知道你的邮编、当地建筑规范和城市条例，对在企业里实际要建的东西基本无用。她认为这正是有深厚机构知识的人难以被替代的原因——失去并重新培养一个人的成本，远高于留住他。
她举了自己的一次经历：临时接手同事的会议演讲嘉宾确认工作。手动方式是逐个给嘉宾发邮件，或者发一份表单再人工汇总。她设置了一个智能体联系所有嘉宾、记录回复并标出未确认者，另一个智能体审查未回复情况并自动跟进。她查看时，137 位演讲嘉宾都已联系并确认，只有两人因休育儿假例外。
她称工程领域的排程、用Genie Spaces让非工程师用自然语言提问并取回幻灯片、文档和上下文等都属于高价值、可重复的用例，类似情况也出现在健康、营销、销售、财务等职能中。
衡量方式与规模化顺序
关于如何衡量智能体部署是否有效，Roberts说传统指标不会消失，它们仍是多数组织定义成功的方式，工程师尤其需要看到现有指标改善才会被说服。她给出的例子是：一项过去要一小时的任务，智能体五分钟完成，这类结果才能说服人。
她建议在省下的小时数、关闭的工单数之外叠加AI专属指标，例如让第三方LLM充当评判者，按自定义标准评估；聊天机器人除了解决时间和用户满意度，还可以检查正确性、幻觉、语气，并自动标记边缘案例和异常。
她说最常见的错误是在系统还没有跑好之前就试图规模化：几个用例效果不错，人们兴奋起来，本能反应就是“规模化”，但真正该问的是具体想看到什么发生，必须逐个用例评估，有时根本不需要向外扩展。她认为很多看似规模化的问题其实是就绪度问题——把一个实例调好已经花了很多迭代，这一点容易被忽略；另一些则是基础设施缺口，小公司演示看起来很好、让规模化显得简单，但没有基础设施可依。
被问及五年后知识工作者的一天，Roberts说她无法有把握地预测，两年前她也说不出今天的状况。她说自己坚持的一点是批判性思维比以往更重要：过去收到文档、视频或作品时存在基本信任，现在必须先假设它可能是AI生成、且缺乏上下文，可能使用过时、错误甚至竞争对手的信息；过于光鲜或过于顺耳，可能开始被当作缺乏真实判断的信号。