Artificial Analysis发布决策模型指数v1.0：Jev 1.13居首，但概率校准普遍偏高
该指数用四项评测衡量“决策模型”的分类、工具调用、知识与推理表现。Jev 1.13以58分领先，语言模型Claude Haiku 5.5得61分但单任务耗时约11倍、成本约4.4倍；所有决策模型在知识与推理题上普遍“过度自信”。
AI解读：指数由四项评测等权组成，各占25%：AA-Omniscience-Decision（知识与幻觉）、HLE-MultiChoice（推理）、When2Call（工具调用）、WildGuardTest（分类）。
Jev 1.13以58分居决策模型首位，GLiDE和Microsoft-Decision-1均为54分。Jev 1.13在HLE-MultiChoice得21分，其他决策模型不超过15；在AA-Omniscience-Decision准确率35、非幻觉率35，d1准确率41最高但非幻觉率仅2。
成本与速度差异大：决策模型每百万任务成本从17美元到199美元，单任务中位耗时0.06至0.5秒。Decider v1.1 27B成本最低（17美元），Celeris-1 Decision最快（0.06秒）。
与语言模型相比，Claude Haiku 5.5（Low）指数得分61，高于Jev 1.13，但单任务1.4秒、每百万任务184美元；GPT-6 Luna（Low）得分55、1.5秒、131美元。语言模型在知识题上领先明显，在分类和工具调用上决策模型相当或更好。
Artificial Analysis称，几乎所有概率水平上，决策模型的实际准确率都低于其自报概率，主要来自知识与推理任务；在When2Call和WildGuardTest上校准相对较好。
Artificial Analysis发布Decision Index v1.0，用四项评测衡量“决策模型”的能力、成本与速度。这类模型在一次调用中从固定选项里给出结构化答案，并为每个选项附带概率。
指数由四项评测等权组成
Artificial Analysis称，Decision Index v1.0将四项评测各按25%加权合成总分：AA-Omniscience-Decision、HLE-MultiChoice、When2Call和WildGuardTest。
AA-Omniscience-Decision包含500道私有题目，改编自其知识与幻觉基准AA-Omniscience，每题五选一（四个答案中一个正确，外加“我不知道”），衡量准确率与非幻觉率，各占该评测的12.5%。HLE-MultiChoice是Humanity's Last Exam中513道纯文本多选题。When2Call采用NVIDIA的工具调用评测：给定对话和一组工具，模型需选择直接回答、调用工具、追问信息或表示无法回答。WildGuardTest使用Ai2的安全分类测试集，判断用户请求是否有害、助手回复是否为拒绝、以及该回复是否有害。
同一批评测也在语言模型上运行。语言模型输出结构化结果并指明所选选项，因此不提供每个选项的概率。
决策模型排名：Jev 1.13领先，单项表现分化
Jev 1.13以58分居决策模型首位，GLiDE和Microsoft-Decision-1均为54分。
在推理基准HLE-MultiChoice上，Jev 1.13得21分，其他决策模型不超过15分。在知识与幻觉基准AA-Omniscience-Decision上，Jev 1.13准确率为35，低于多数决策模型；Liquid AI的d1以41分居首。但Jev 1.13的非幻觉率为35，排第二，d1仅2。
在工具调用基准When2Call上，Jev 1.13得81分，列第四；Celeris-1 Decision和Fastino Labs的GLiDE以84分并列第一。分类基准WildGuardTest上，Jev 1.13得94分，与Perplexity的Decider v1.1 27B持平，比GLiDE的95分低1分。
成本与速度跨度大，帕累托前沿上有三款模型
决策模型的成本和中位耗时差异显著：每百万任务成本从17美元到199美元，单任务中位耗时从0.06秒到0.5秒。
Decider v1.1 27B的每百万任务成本最低，为17美元；Microsoft-Decision-1为31美元，Jev 1.13为42美元，三者都处于能力-成本帕累托前沿。GLiDE得分54，与Microsoft-Decision-1持平，但成本为119美元，约为Jev 1.13的三倍。Celeris-1 Decision单任务耗时最快，为0.06秒，Jev 1.13为0.13秒。
Artificial Analysis说明，决策模型仅按输入token计费，语言模型按输入和输出token计费；指数成本为一次跑完全部评测的合计成本除以任务总数，再乘以100万。
概率校准：几乎所有水平上准确率低于自报概率
由于决策模型为每个选项给出概率，Artificial Analysis比对了模型赋予所选答案的概率与其实际正确率。
在几乎所有概率水平上，所有决策模型的实际准确率都低于其自报概率。Artificial Analysis称，这主要由知识与推理任务（HLE-MultiChoice和AA-Omniscience-Decision）的校准不佳造成；在When2Call和WildGuardTest上，多数决策模型校准相对较好。
AA-Omniscience-Decision每题都提供“我不知道”选项，非幻觉率指模型未答对时选择该选项的比例。Microsoft-Decision-1以40%领先决策模型，Jev 1.13为35%，Mercury Decide为32%，其他决策模型均不超过17%。
与语言模型的对比：速度成本占优，知识推理落后
Artificial Analysis称，决策模型相比语言模型有明显的速度和成本优势，但在知识与推理上落后。
Claude Haiku 5.5（Low）在Decision Index上得61分，比Jev 1.13高3分，但单任务1.4秒，是Jev 1.13（0.13秒）的约11倍；每百万任务成本184美元，是Jev 1.13（42美元）的约4.4倍。GPT-6 Luna（Low）得55分，低于Jev 1.13，单任务1.5秒，每百万任务131美元。
知识方面，AA-Omniscience-Decision准确率上，Claude Haiku 5.5（Low）为52，GPT-6 Luna（Low）为66，决策模型为28至41。HLE-MultiChoice上，两者分别为24和22，Jev 1.13为21，其他决策模型不超过15。
分类和工具调用方面，领先决策模型表现相当。WildGuardTest上，GLiDE得95，Decider v1.1 27B和Jev 1.13得94，Claude Haiku 5.5（Low）93，GPT-6 Luna（Low）89。When2Call上，Celeris-1 Decision和GLiDE得84，GPT-6 Luna（Low）77，Claude Haiku 5.5（Low）73。