研究The Decoder AI·原文 2026年9月18日本站收录 2026年9月19日

Anthropic公布内部AI开发指标:Claude承担 26% 研究工作量,但“主导”含义有限

Anthropic首次公布内部AI开发指标,称截至 2026 年 8 月,Claude在Epoch AI的AL4级别上承担了 26% 的工作,较 2 月的不足 1% 大幅上升。但评分由Claude自己完成,且“主导”并不等于完全自主。

Anthropic首次公布衡量其内部AI开发方式的数据。核心指标基于Epoch AI的分级体系,从AL0(无AI)到AL5(完全自主)。截至 2026 年 8 月,26% 的工作处于AL4,即Epoch AI所称的“AI主导”,较 2026 年 2 月的不足 1% 大幅上升。超过 90% 的工作至少达到AL3。没有任何任务达到AL5。

Anthropic举例说明AL4的实际含义:工程师把一份bug报告交给Claude,Claude会分析、修复并测试,过程中不提问,但无权发布。人类阅读报告后做出最终决定。任务和方向仍来自人类。AL3(“协作”)与AL4的主要区别在于,Claude遇到障碍时不再停滞。

这些评分由Claude自己完成。代理从Slack和内部文档收集证据,另一个Claude模型负责分配等级。Anthropic承认,这个“裁判”可能犯下与被检查系统相同的错误。

Anthropic的交叉检查显示,“协作”与“主导”的边界即便对公司自己也不清晰。员工被要求判断自己工作领域的自动化程度,当两个人评估同一领域时,只有约三分之一的情况得出相同等级。负责官方评分的Claude模型与人类判断的一致率为 59%。在 97% 的情况下,人类与模型的评分相差不超过一个等级。但相差一个等级,就是从“协作”跳到“主导”。

这 26% 衡量的内容也值得注意。Anthropic列出了员工 7 月的工作时间分配,并对每项活动评分,耗时多的任务权重更高。因此,Claude主导的是按人类工时衡量的四分之一工作。这并不能说明Claude做了多少决策,或在研究方向上有多少发言权。

Anthropic称,在其使用最频繁的内部平台上,约 30,000 个代理同时运行。一个实时监控器检查每个动作,旨在阻止复制模型权重等行为。8 月超过 10 亿次决策中,它拦截了 0.002%。第二个监控器每周事后标记约 100,000 条日志,其中约 50 条会到达人类。Anthropic承认,该监控仅运行了几个月,不确定能否捕捉所有行为模式。7 月的一个样本周内,约 6% 的AI研究算力用于安全工作。Anthropic表示,低数字不一定意味着安全工作量少,因为安全工作主要是设计实验,消耗研究人员时间但芯片用量少,而新模型的训练运行会消耗巨大算力。Anthropic也未将同时推进安全与能力的工作计为安全。公司警告,与能力研究的界限模糊,每个厂商都倾向于从宽划分,举证责任应落在开发者身上。

信息来源

The Decoder AI原始来源