Gemini 4 Argon在ARC-AGI-3得分 97.5%,标准测试下降至 49.8%
Google Deepmind新前沿模型Gemini 4 Argon在ARC-AGI-3上以特定测试配置取得 97.5%,成为第二个跨过 95% 的实验室;换用标准测试环境后分数跌至 49.8%,且Epoch AI估计其在数学与软件工程上仍落后于前沿对手。
AI解读:Google Deepmind的Gemini 4 Argon在ARC-AGI-3上使用Provider Adapter Harness取得 97.5%,该测试配置依赖厂商特定功能如保留推理与上下文压缩,成本为 4800 美元。
据ARC Prize,Google是继OpenAI之后第二家越过 95% 门槛的实验室,仅GPT-6 Astra以 99.9% 更高。
在只允许简单笔记的标准测试环境中,Argon低推理档得分降至 49.8%、成本 5800 美元,且因API问题未完成全部 55 局比赛。
在 25 个公开游戏中,Argon所需操作数比人类基线少 62%,在 3 个游戏追平或打破速通纪录。
Epoch AI的ECI综合评分显示Argon得 165 分,与Fable 5.1持平,略低于Opus 5.5的 167 和GPT-6 Astra的 166,但早期估计其在数学ECI排第八、软件工程ECI排第六。
Google Deepmind的新前沿模型Gemini 4 Argon在ARC-AGI-3基准上取得 97.5% 的分数。据ARC Prize,这使Google成为继OpenAI之后第二家在该基准上跨过 95% 的AI实验室。
该 97.5% 的成绩是在名为Provider Adapter Harness的测试配置下取得,该配置利用厂商特定功能,包括保留推理和上下文压缩,测试成本为 4800 美元。得分仅次于GPT-6 Astra的 99.9%。
换用仅允许轮次间简单笔记的Standard Harness后,Argon在低推理档得分降至 49.8%,成本 5800 美元。
测试配置决定分数:Provider Adapter Harness与Standard Harness的差距
ARC-AGI-3的成绩高度依赖测试方法。在Provider Adapter Harness下,Argon得到 97.5%;而在Standard Harness下,低推理档仅 49.8%,中推理档 46.3%。
测试者称,API问题导致Argon无法完成Standard Harness下的全部 55 局比赛:低推理档完成 42 局,中推理档完成 46 局,最高推理档仅完成 19 局,因此ARC Prize未公布最高档分数。已报告的结果仍覆盖全部 55 局,但包含中止运行的部分得分。
- Provider Adapter Harness使用厂商特定功能,如保留推理与上下文压缩,测试成本 4800 美元。
- Standard Harness只允许轮次间简单笔记,Argon低推理档得 49.8%(5800 美元),中推理档 46.3%。
- 最高推理档仅完成 19 局,ARC Prize未发布分数;已公布结果通过部分得分覆盖全部 55 局。
与GPT-6 Astra在 25 个公开游戏中的操作效率对比
在ARC-AGI-3的 25 个公开游戏中,Argon与GPT-6 Astra所需操作数均比人类基线少 62%。Argon在其中 3 个游戏追平或打破速通纪录,另有 6 个游戏用时在最佳成绩 10% 以内。
- Argon与GPT-6 Astra在 25 个公开游戏中操作数比人类基线少 62%。
- Argon在 3 个游戏追平或打破速通纪录,6 个游戏在最佳时间 10% 以内。
旧版基准成绩与定价
在ARC-AGI旧版本上,Argon于ARC-AGI-2得 91.3%(每任务 0.32 美元),于ARC-AGI-1得 98.5%(每任务 0.16 美元)。上述成本基于输入每百万token 2美元、输出每百万token 10美元的引入期价格。
- ARC-AGI-2:91.3%,每任务 0.32 美元。
- ARC-AGI-1:98.5%,每任务 0.16 美元。
- 定价:输入每百万token 2美元,输出每百万token 10美元(引入期价格)。
Epoch AI综合评估:ECI 165分,数学与软件工程仍落后
研究机构Epoch AI的Epoch Capabilities Index(ECI)将 50 多个基准合并为单一能力标尺。Argon得分 165,与Fable 5.1持平,略低于Opus 5.5的 167 和GPT-6 Astra的 166。
据Epoch AI,165 分使Google与当前AI前沿的差距为自 2026 年 2 月Gemini 3.1 Pro以来最小,并明显高于Gemini 3.8 Flash的 157 分。Artificial Analysis和Vals.ai此前也确认了这一趋势。
但Epoch AI指出,早期估计Argon在Math ECI排第八、在软件工程指数(SWE ECI)排第六,尽管它在若干知识、智能体和视觉基准上领先。
- ECI综合 50 多个基准:Argon 165分,Fable 5.1同分,Opus 5.5 167分,GPT-6 Astra 166分。
- 明显高于Gemini 3.8 Flash的 157 分,为 2026 年 2 月以来Google距前沿最近的一次。
- 早期估计:Math ECI第八,SWE ECI第六;在知识、智能体和视觉基准上领先。