Artificial Analysis发布Intelligence Index v5：六成评测改用私有测试集，开源模型差距从 3 分扩大到 12 分

v5换掉了哪些基准

Intelligence Index被Artificial Analysis定义为跨任务、反映当下真实使用场景的模型能力综合指标。v5四个维度各占 25%：知识工作、编程、科学、通用。

新增两项基准。FrontierCode 2.0是Cognition同日发布的私有编程基准，包含 132 个真实开源仓库任务，按“仓库维护者是否会合并该改动”评分；任一阻塞性检查不通过即得 0 分，题目保持私有以防污染。Artificial Analysis称每项任务在其智能体运行环境Stirrup中运行三次。Terminal-Bench-Science包含 70 个终端环境下的科研流程任务，由专家编写和审核，任务的全部测试通过才算通过。

三项升级：HLE-Diamond是Humanity's Last Exam的精炼版，由Center for AI Safety和Scale AI提供，共 1000 题，推理与知识题各半；AA-Omniscience v1.1移除了饱和题和公开集题目，新增题目，并修订了含义模糊或有误的题目；CritPt v2使用私有 40 题难集，由CritPt作者修订，在离线Python沙箱中运行。

保留的基准为AA-Briefcase、AutomationBench-AA、GDP.pdf和Terminal-Bench 4.0；移除GDPval-AA v2.1、SciCode和AA-LCR v1.1。权重分配上，编程维度的FrontierCode 2.0占 15%，科学维度的Terminal-Bench-Science占 15%。

• 知识工作 25%：AA-Briefcase 15%、AutomationBench-AA 5%、GDP.pdf 5%
• 编程 25%：FrontierCode 2.0 15%、Terminal-Bench 4.0 10%
• 科学 25%：Terminal-Bench-Science 15%、CritPt v2难集 10%
• 通用 25%：AA-Omniscience v1.1 15%（其中准确率 10%、非幻觉 5%）、HLE-Diamond 10%

开源模型差距扩大，且领先的开源模型权重未发布

Artificial Analysis称，开源权重模型在v5中落后更多：最好的Kimi K3.1 Pro得 46 分、落后榜首 12 分，而v4.3时这一差距为 3 分。Kimi K3.1 Pro的权重尚未发布。

在已发布权重的模型中，DeepSeek V4.1 Flash 1017（max）和GLM-5.3（max）以 32 分并列最高，比榜首低 26 分，也低于Claude Haiku 5.5（max）的 36 分。差距最大的两项是HLE-Diamond和Terminal-Bench-Science：Kimi K3.1 Pro分别为 37% 和 34%，Claude Opus 5.5（max）为 68%，GPT-6 Astra（max）为 63%。

Terminal-Bench-Science的分数分布在头部之后下降明显：Kimi K3.1 Pro 34%，Claude Haiku 5.5（max）20%，已发布权重中最好的DeepSeek V4.1 Flash 1017（max）13%，该机构称多数被评测的开源模型低于 10%。

• Kimi K3.1 Pro：46 分，权重未发布
• DeepSeek V4.1 Flash 1017（max）、GLM-5.3（max）：32 分
• Claude Haiku 5.5（max）：36 分
• FrontierCode 2.0：Claude Opus 5.5（max）46%，GPT-6 Astra、GPT-6.1 Terra、Claude Sonnet 5.5（max）均为 42%，DeepSeek V4.1 Flash 1017（max）28%

没有模型在所有九项评测中领先

Artificial Analysis称，v5的九项评测都留有明显进步空间，没有单一模型全部领先。Claude Opus 5.5领先三项：FrontierCode 2.0（46%）、HLE-Diamond（68%）和AA-Omniscience v1.1（48 分）。GPT-6 Astra领先Terminal-Bench-Science（63%）和CritPt v2难集（72%）。其余四项分别由Claude Sonnet 5.5（AA-Briefcase，1812 Elo）、Kimi K3.1 Pro（Terminal-Bench 4.0，67%）、Gemini 4 Argon（AutomationBench-AA，78%）和Muse Wonder Full（GDP.pdf，全通过 33%）领先。

在HLE-Diamond上，知识题比推理题更难：Claude Opus 5.5（max）和GPT-6 Astra（max）推理题同为 78%，知识题分别为 58% 和 50%。

成本与努力档位的差异

在得分最高的 10 个模型中，每项Intelligence Index任务的成本相差超过 13 倍：GPT-6.1 Terra（max）为 0.96 美元，Claude Fable 5.1（max）为 13.04 美元。Claude Opus 5.5（max）为 10.04 美元，GPT-6 Astra（max）为 6.24 美元，GPT-6.1 Sol（max）为 1.27 美元。Artificial Analysis称，GPT-6.1 Sol（max）比Claude Opus 5.5（max）低 4 分以内，单任务成本约为其八分之一。

该机构还称，努力档位在v5中的影响大于v4.3：Claude Opus 5.5从低努力 35 分到最大努力 58 分，单任务成本约 10 倍；Claude Sonnet 5.5从低到最大努力的跨度从v4.3的 20 分扩大到 29 分；GPT-6.1 Sol的跨度从 10 分翻倍到 20 分。

任务消耗也上升。所有被评测模型每项任务生成的输出token都高于v4.3，中位数从 3.5 万升至 5.9 万。智能体类评测占指数权重的 55%（Terminal-Bench-Science、Terminal-Bench 4.0、AA-Briefcase和FrontierCode 2.0），但占输出token中位数约 90%；Terminal-Bench-Science一项就约占每任务输出token的三分之一。

• Claude Opus 5.5（max）：58 分，每任务 10.04 美元
• GPT-6 Astra（max）：57 分，6.24 美元
• GPT-6.1 Sol（max）：55 分，1.27 美元
• GPT-6.1 Terra（max）：每任务 0.96 美元

另发Progress Index，评测机构说明两类指标用途

与v5同时，Artificial Analysis发布Progress Index v1，把 2022 年 11 月以来发布的语言模型放在同一条能力尺度上，跨越较大范围的基准，用于比较相隔数年发布的模型能力变化。该机构称，其设计借鉴了Epoch AI的Epoch Capabilities Index，并感谢Epoch AI和Anthropic。

Artificial Analysis表示，比较当前用例和了解当下前沿应使用Intelligence Index，Progress Index则用于观察底层能力随时间的变化。上述分数和成本均为该机构自行评测结果，其评测方法页面已公开。