产品Databricks Blog·原文 2026年10月27日

Databricks AI Search原生支持流表、物化视图与Iceberg托管表

Databricks称,AI Search现可直接以Streaming Tables、Materialized Views和基于Iceberg v3+的Managed表为索引源,无需再额外建Delta表并维护同步管道;原有Delta表继续支持。

AI解读:用户可直接从这些源建索引并同步,不必再先转换成Delta表。

按Databricks的说法,此前客户需要为流表、物化视图或Iceberg托管表单独建一份Delta表示,并搭建管道保持同步,由此多出一层数据、自定义更新逻辑和运维开销。新支持取消了这一中间层和同步管道。

三类新数据源对应不同用途:流表用于持续到达的事件,如欺诈检测、安全监控和实时IoT分析;物化视图用于聚合与连接后的个性化状态,如会话感知搜索和agent assist;Iceberg托管表用于跨引擎的开放格式数据与统一知识搜索。

建索引的工作流与现有Delta源一致:通过UI或API创建Delta Sync索引并指向源表即可,Databricks称无需学习新流程。该能力由Databricks官方博客发布,属厂商声明,公开内容未给出性能或成本数据。

Databricks在官方博客中宣布,AI Search现在原生支持Streaming Tables、Materialized Views以及基于Iceberg v3+的Managed表,Delta表仍在支持范围内。用户可以直接把这些源接入AI Search索引,不需要再单独构建转换与同步管道。

取消中间Delta层与同步管道

Databricks称,在此次支持之前,客户要把Streaming Tables、Materialized Views或Managed Iceberg表用于AI Search,需要先创建一份独立的Delta表示,并搭建管道让这份表示与源数据保持同步。博客称,这带来额外的一层数据、自定义更新逻辑和持续的运维开销。

现在AI Search可直接连接这些源:从源表创建索引,在需要时同步,由平台把变更传播到索引。Databricks称,这一过程中间Delta表和自定义同步管道被去掉,底层管道由平台处理。

  • 此前:源表 → 额外Delta表示 → 自定义同步管道 → AI Search索引
  • 现在:源表 → 直接创建并同步Delta Sync索引

三类源的适用场景

Databricks在博客中按数据类型区分了三类新源的用途。Streaming Tables面向持续到达的事件,例如新增房源、库存、可用性和用户活动,采用追加写入方式,AI Search以新记录到达即索引的方式保持索引更新。博客举的例子包括:在搜索栏中发现刚上架的餐厅,以及基于近期趋势生成实时推荐。

Materialized Views用于聚合事件、过滤记录和连接多源数据,形成定制状态;底层数据变化时视图增量维护,AI Search再把变化传播到索引。博客称,由此可支持会话感知推荐、基于近期活动的商品与内容发现。

Managed Iceberg表可直接作为AI Search源,不需要转换或迁移到另一种表格式。博客称,该格式可用于跨不同系统管理的商品目录搜索、统一分散在多个Managed Iceberg表中的业务或客户数据,以及在不移动底层数据的情况下对大规模分布式数据集构建搜索。

  • Streaming Tables:欺诈检测、安全监控、实时IoT分析
  • Materialized Views:个性化、会话感知搜索、agent assist
  • Managed Iceberg:跨引擎agent、统一知识搜索、开放格式数据

建索引流程不变

Databricks称,无论通过UI还是API,建AI Search索引的流程与现有Delta表源相同:创建Delta Sync索引并指向源表。同一流程现在扩展到Streaming Tables、Materialized Views和Iceberg表。博客称,用户无需学习新工作流,也不需要额外的数据管道。

信息来源

Databricks Blog原始来源

更多

新闻专题
外观