英国AI安全研究所用EvalEval基础设施公开五组基准测试的评估结果
AISI将HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro和Terminal-Bench 2.0的验证结果、上下文与配置信息发布在Evaluation Cards上，覆盖Claude Opus 4至4.6和GPT-5至5.4六个前沿模型。
AI解读：EvalEval Coalition和英国AI安全研究所（AISI）把一批前沿模型的评估结果做成了可复现的公开记录。AISI在Evaluation Cards平台上发布了论文《How Inference Compute Shapes Frontier LLM Evaluation》主实验中五个基准测试的验证结果、上下文和运行配置。
对做评估研究或需要横向对比模型的人来说，这解决的是一直以来的痛点：分数到处都是，但设置细节常常缺失，别人想复现也复现不了。
这次公开覆盖的五个基准是HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro和Terminal-Bench 2.0，涉及Claude Opus 4、4.5、4.6以及GPT-5、5.2、5.4六个模型。
论文的核心发现之一值得单独拎出来：Humanity's Last Exam上的表现会随评估协议和推理时算力变化。如果模型每次尝试后能获得来自oracle的正确性反馈，随着token用量增加，模型会继续解出更多任务。同一模型在不同协议下报出的分数可能不可直接比较，公开设置信息正是为了让这种比较有据可依。
EvalEval的角色是提供共享报告schema——Every Eval Ever（EEE）和配套的Evaluation Cards平台，把评估结果和解读所需信息放进统一结构。AISI此前通过OptStop提升评估效率、通过HiBayES增加统计严谨性，这次则是把双方合作产出的基础设施真正用起来。EEE被更多评估方采纳后，跨生态的元研究才有更可靠的基础。
EvalEval Coalition宣布，英国AI安全研究所（AISI）正在使用EvalEval的基础设施公开分享评估结果。双方此前在NeurIPS 2025期间的一场联合研讨会上开始合作研究，AISI的反馈也参与塑造了Every Eval Ever（EEE）schema。这一阶段的新合作把共享基础设施投入实际使用。
AISI通过Evaluation Cards公开其已报告的评估方法和发现。发布内容包含论文主实验中五个基准测试的验证结果、上下文和配置信息：HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro、Terminal-Bench 2.0。这些结果覆盖六个前沿模型：Claude Opus 4、Claude Opus 4.5、Claude Opus 4.6、GPT-5、GPT-5.2、GPT-5.4。发布还包含Cyber CTFs和The Last Ones两个相关网络评估的结果，它们使用的是另一组部分重叠的模型。
数据伴随AISI的论文《How Inference Compute Shapes Frontier LLM Evaluation》，该论文研究基准表现如何依赖推理时算力与评估协议。
Humanity's Last Exam上的表现会随评估协议和推理时算力变化。每条曲线显示在给定token数内累计解决的任务比例，以每个任务最早观察到的成功为准。当模型在每次尝试后收到来自oracle的正确性反馈时，随着token使用增加，它们会继续解决更多任务。
EvalEval与AISI这次具体公开了什么
EvalEval Coalition的使命是通过共享报告schema Every Eval Ever和开放平台Evaluation Cards改善评估生态，把评估结果与解读所需信息纳入统一结构。AISI的工作则包括通过OptStop让评估更高效、通过HiBayES让评估在统计上更严谨，以及在transcript分析和能力elicitation等领域推进标准化。双方合作的方向是诊断评估报告中的缺口，并建设共享基础设施来填补这些缺口。
- 五个基准：HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro、Terminal-Bench 2.0
- 六个前沿模型：Claude Opus 4、Claude Opus 4.5、Claude Opus 4.6、GPT-5、GPT-5.2、GPT-5.4
- 另有两个网络评估：Cyber CTFs、The Last Ones，使用部分重叠的另一组模型
- 公开信息类型：验证结果、上下文、配置信息
评估结果为什么难以复现
EvalEval指出，随着AI部署加速，评估正成为模型与系统性能越来越重要的证据来源，但结果分散在许多格式、平台和渠道中，往往缺少足够信息来复现。重新运行评估本身可能成本高到无法承受。
- 结果格式、平台、渠道分散，复现所需信息常缺失
- 重跑评估可能昂贵到不可行
- 公开释放设置信息后，研究人员和从业者可以更仔细地检查单项研究，并在更广生态中比较发现
- 当其他报告缺少这些细节时，AISI这类发布提供了在上下文中解读评估的、经过验证的参考点
已知的发现、条件与边界
AISI的Terminal-Bench 2.0结果被与同一模型在不同评估设置下的其他已报告评估并列展示。EvalEval表示，随着更多评估方采纳EEE，这类开放比较可以支持更广、更可靠的元研究。
需要明确的是：以上内容依据的是Hugging Face博客中EvalEval Coalition的发布摘要与说明，未超出该来源所支持的事实范围。
- Humanity's Last Exam表现随评估协议与推理时算力变化
- oracle反馈指每次尝试后提供正确性反馈，模型在token增加时继续解决更多任务
- 公开设置信息有助于研究者理解设置选择如何影响所报告的分数
- EEE被更多评估方采纳是开放比较支持元研究的前提条件