Databricks推出Predictive AI Functions测试版,SQL原生支持预测、归因与异常检测
Databricks博客称,Predictive AI Functions已进入Beta,新增四个SQL原生函数并改进ai_forecast,让分析师和业务用户无需构建模型即可做预测、驱动因素分析和异常检测。
AI解读:Databricks宣布Predictive AI Functions进入Beta,新增四个SQL原生函数:ai_top_drivers、ai_detect_anomalies、ai_predict_value、ai_predict_class,并改进ai_forecast。
这些函数可在SQL编辑器、笔记本、仪表板中调用,且ai_top_drivers已可通过Genie使用,其余四个函数将陆续在Genie中提供。
Databricks称ai_forecast由基于Transformer的时间序列基础模型驱动,无需调参,支持节假日和外部协变量,并引用fev-bench基准称其任务胜率优于某领先云数据仓库及上一版本。
适用对象为数据分析师和业务用户,仍需在Databricks环境中运行SQL或通过Genie提问;模型由Databricks集中维护,用户不管理基础设施。
Databricks博客宣布,Predictive AI Functions现已进入Beta,新增四个SQL原生函数,并改进ai_forecast。Databricks称,这些函数让分析师和业务用户无需构建模型或管理基础设施,即可运行预测、驱动因素分析和异常检测。
新增函数包括ai_top_drivers、ai_detect_anomalies、ai_predict_value和ai_predict_class。它们可在SQL编辑器、笔记本中直接调用,也可嵌入仪表板,并计划通过Genie以自然语言方式使用。
新增四个SQL函数及ai_forecast的改进
Databricks描述,ai_forecast用于将时间序列投射到未来,ai_top_drivers用于找出哪些细分段最驱动某个指标变化,ai_detect_anomalies用于标记时间数据中的离群行,ai_predict_value用于预测连续值(回归),ai_predict_class用于预测分类值(分类)。
ai_forecast此前已存在,本次改进后支持无需调参的高质量预测。Databricks称其由基于Transformer的时间序列基础模型驱动,该模型像大语言模型训练文本一样,在大量多样化时间序列上预训练,能识别季节性和趋势等常见模式。
ai_forecast还新增节假日支持和外部协变量功能。Databricks表示,团队可以自动考虑圣诞下滑、学校假期高峰等本地事件,也可以输入定价变化或营销支出等驱动因素,使预测更贴近业务。
使用方式与适用对象
Databricks称,这些函数是原生SQL函数,分析师可以在SQL编辑器或笔记本中调用,跨数亿行运行,并将结果接入查询和管道。与开发自定义模型相比,Databricks表示这压缩了开发时间,并让更多用户可以使用。
业务用户方面,Genie可以接收自然语言问题,例如“上季度收入为什么下降”或“哪些客户可能流失”,并调用相应函数返回有模型依据的答案,无需SQL或机器学习专业知识。Databricks称ai_top_drivers今天已可在Genie中使用,ai_forecast、ai_detect_anomalies、ai_predict_value和ai_predict_class即将推出。
Databricks在博客中用NYC出租车行程数据集演示了仪表板、SQL和Genie中的用法,包括用ai_forecast预测月度载客量至 2027 年底,以及用ai_top_drivers分析 2016 年 1 月至 2 月纽约出租车收入变化的主要贡献段。
Databricks引用基准测试的准确性说法
Databricks称,这些函数由生产级机器学习模型支持,模型由Databricks集中维护,因此在仪表板、SQL或Genie等不同界面中结果保持一致。
Databricks使用fev-bench基准测试将新版ai_forecast与某领先云数据仓库的函数及上一版ai_forecast进行比较。Databricks定义任务胜率为在某个系统实现更低概率误差的任务百分比(以缩放分位数损失衡量)。Databricks称ai_forecast优于其他云数据仓库提供商以及上一版ai_forecast。