Databricks推出ai_decide函数，用决策模型替代LLM做快速结构化判断
Databricks发布AI Function ai_decide，基于TypeSafe AI的决策模型Jev，以SQL或REST API调用，评估文本并返回概率、命名选项或有序分数，官方称在同类任务上延迟和成本低于LLM。
Databricks发布新的AI Function ai_decide，官方博客称其用于在受治理数据上快速做出决策。该函数由一个决策模型驱动，Databricks称该模型即TypeSafe AI的Jev。
Databricks表示，很多团队正把LLM用于不需要复杂推理和文本生成的任务，例如判断工单属于哪个类别、文档是否需要人工审核、哪个模型应当处理某条提示词。这些问题支撑着从处理数百万份文档到控制实时应用逻辑的高并发企业工作流。
Databricks称，用LLM处理这类较小的结构化决策会带来额外的延迟和成本，并在企业规模下不断累积。ai_decide的设计是：不生成文本，而是接收非结构化输入和一组问题，直接返回决策及其概率。
据官方说明，ai_decide在不到一秒内针对文本评估一个或多个问题，每个问题可返回概率、从命名标准中选出的选项，或有序尺度上的分数。Databricks称，由于针对快速决策优化，ai_decide在类似任务上的延迟和成本低于LLM。
ai_decide目前已在Databricks上以Beta形式提供，可通过SQL调用以在受治理数据上大规模做出结构化决策，也可通过REST API用于实时应用和智能体。Databricks称，对于已在使用TypeSafe AI API的团队，ai_decide函数可直接兼容。
Databricks建议，如果用户有非结构化数据并需要对其进行分类、打分或决定下一步，ai_decide较为适合。官方给出的用例包括：用一条SQL查询为客户评论标注主要问题和是否想退货，按月按产品聚合以追踪反复出现的投诉；判断提示词的推理层级和难度，再把请求路由到对应模型；作为评判者检查AI生成的答案是否符合退款政策并打分；以及在实时应用中决定下一步动作。
官方演示：ai_decide在Databricks Apps上玩贪吃蛇
Databricks称，因为ai_decide能在不到一秒内返回决策，它快到足以驱动实时应用，每个决策都取决于前一刻的状态。
为作演示，Databricks构建了一个托管在Databricks Apps上的贪吃蛇实时demo。ai_decide负责玩这个游戏：每个tick，应用把当前棋盘发给ai_decide，并询问蛇下一步该往哪个方向移动。Databricks称，整个决策循环在不到一秒内闭合，因此ai_decide可以支撑智能体或应用所需的任何实时决策，包括调用哪个工具、走哪个分支、下一步做什么动作。
可用范围与生态说明
ai_decide现已以Beta形式提供。Databricks称，用户可在SQL中用它来分类、打分并在受治理数据上大规模做出决策，或调用REST API为实时应用和智能体加入快速决策。
Databricks还提到，除了托管函数之外，开放权重决策模型生态正在扩大，用户可以在Databricks上直接用SQL服务和运行其中任何模型。官方指向一份近期的open-Jev演练，并提供了ai_decide的SQL文档和REST API入门入口。