产品The Verge AI·原文 2026年9月15日

AI巨头口头同意“放缓前沿”,被质疑是安全承诺还是卡特尔

The Verge报道,Altman、Amodei、Hassabis与Musk上周末就放缓AI开发达成非正式共识,支持第三方审计、监管国内实验室并寻求全球减速协议;批评者认为这意在阻挡开源与竞争对手,安全研究者则称类似呼吁已持续多年。

AI解读:这条新闻的核心不是“AI大佬突然良心发现”,而是一份没有约束力的口头共识:它可能变成安全护栏,也可能变成大公司用altruistic语言包装的行业自律。

如果你在大模型公司做安全、合规或政策,这份共识值得看细节——第三方审计嵌入、国内实验室监管、全球减速协议;如果你只是普通用户,它短期内不会改变你能用到的产品。

最关键的硬约束写在最后:没有政府监管落地,自愿承诺的执行力存疑;而中国因素被反复用来证明“不能减速”。中国外交部已回应称这类呼吁是“散布恐慌”。

真正的技术背景是递归自我改进(RSI):Anthropic称最早2027年可能到来,OpenAI首席科学家本月称正投入大量资源。多位研究员在X上表示他们“真心相信AI可能杀死全人类”。

OpenAI CEO Sam Altman、Anthropic CEO Dario Amodei、Google DeepMind联合创始人Demis Hassabis和SpaceX负责人Elon Musk上周末就放缓AI开发达成非正式共识。据The Verge报道,四人至少在部分程度上支持一项三步提案:在实验室内部嵌入第三方审计、监管国内实验室、并达成全球减速协议。

这一共识被部分业内人士称为“为前沿定速”。但批评者立即指出,这些AI巨头可能只是想阻止潜在竞争对手、削弱开源运动,并避免真正的法律保障——有人直接称之为“卡特尔”。

多位业内人士对The Verge表示,实际情况更复杂。Amodei在一篇文章中提出的三步提案,呼吁的是AI安全倡导者长期主张的变革。在特朗普政府下,实质性监管不太可能出现,因此该提案可能成为监管的替代品。

纽约大学兼职教授、美国国土安全部前新兴技术政策主管Nick Reese表示:“整个行业需要新的倡导者。我们一直把Dario Amodei、Sam Altman和Elon Musk视为最接近问题、每天处理问题的人,认为他们最懂。但事实是,从来没有人对我们要构建的东西有过现实的愿景。”

安全研究者的反应:方向对,但执行是另一回事

多位消息人士对The Verge表示,AI领袖的口头协议是朝正确方向迈出的一步。NYU的Reese说他不认为这“全是空话”。Apollo Research CEO Marius Hobbhahn称这是“好主意”,并说“如果真的发生,这是很长时间以来对安全最有利的事情之一”。The Midas Project的Tyler Johnston称这是“好迹象”。Redwood Research CEO Buck Shlegeris称这是“一些好消息——显然很难知道这是否会转化为任何真实的东西,但我谨慎乐观”。

不过所有人都同意,要把这一口头承诺变成现实,仍有很多工作要做,尤其是使其成为铁板一块的协议。

“安全洗白”的担忧与行业先例

许多人仍质疑AI领袖的动机。大型科技行业多年来通过游说自身偏好的规则或承诺自我监管来抢在监管之前。大型平台曾提出可能更严重打击较小竞争对手的政策,用利他语言为自身目的辩护。它们被指控进行“安全洗白”,即做出无意义的改变,给人虚假的实际保障印象。AI实验室的自愿安全框架多年来也一直受到批评,因此人们担心AI行业也会发生同样情况并不奇怪。

多位消息人士认为安全洗白的担忧是合理的。Kokotajlo说:“严重担忧是他们实际上不会减速。”他补充说,恐惧在于“他们只会引入一些外部审计员,做一堆安全文书工作——其中一些确实不错——但最终,这实际上根本不会让他们减速多少”。

NYU的Reese将这一策略比作十年前社交媒体平台的套路,当时公司开始呼吁监管行动,以抢在即将出台的更不利法律之前。Reese说,对AI行业而言,“大锤可能不会在本届政府落下,但我认为如果下次选举后出现民主党政府,可能性真的很大”。

Tech Oversight Project执行主任Sacha Haworth表示,那种监管至关重要。她说任何自愿框架本质上都是监管俘获,“我们不应该让狐狸管理鸡舍。这不是国会再次将责任外包给行业的机会”。Political Integrity Project联合创始人Daniel Lobo-Lewis表示,自愿监管很可能重蹈Meta基本无牙的监督委员会覆辙。

不过,大多数人认为公司目前没有迫在眉睫的监管危险,除了AI实验室在特朗普政府下同意的模型发布前审查期。特朗普周一发帖称:“AI唯一需要的控制或‘护栏’是一个强大而聪明(高智商!)的总统,而美国拥有这一点,而且绰绰有余!”他还在Nvidia CEO黄仁勋在会议台上时打电话给他——特朗普在免提电话中对人群说,近期对AI的担忧是“骗局”,“机器人不会接管”。

减速呼吁指向谁:大型前沿实验室,而非开源

多位行业专家对The Verge表示,关于监管可能阻碍其他公司或开源开发者的担忧,减速呼吁几乎完全针对按具体规模指标定义的大型前沿AI实验室。

在没有政府AI监管的情况下,最好的选择可能是推动公司达成立即、可衡量、可执行的协议。例如,Kokotajlo的AI Futures Project提议AI实验室让审计员访问其计算预算,并承诺大幅减少用于研究的计算预算,从而减缓AI进步,让其他AI实验室赶上。(Amodei的文章已呼吁AI实验室允许外部第三方审计员——如METR、Apollo和Redwood Research——在一定程度上嵌入其组织,并可能标记和举报有问题的发现。)

中国因素是最大挑战

可以说,AI减速的最大挑战可以用一个词概括:中国。

AI领袖和政客长期以来将中国定位为美国AI不能减速的理由——因为无论技术变得多危险,他们宁愿它掌握在美国而非中国手中,而中国不会踩刹车。Lobo-Lewis将中国恐惧比作冷战导弹差距。一位X用户写道:“如果我最终死于杀人AI,我希望它是美国的,不是中国的。”

Redwood Research的Shlegeris表示,以“鲁莽”方式追求AI开发不符合美国或中国政府的最佳利益,并补充说“这不会是史无前例的国际协调”。

Johnston说:“人们想当然地认为中国不会合作。”他补充说:“这是一个如此严重、如此广泛的问题,似乎协调符合所有人的利益,就像核不扩散符合美国和俄罗斯的利益一样。”

周一,中国外交部发言人郭嘉昆确实对减速呼吁进行了反击,称其为“散布恐慌”。

The Midas Project的Johnston和Redwood Research的Shlegeris都表示,即使没有中国合作,鼓励美国协调仍然至关重要。对Tech Oversight Project的Haworth来说,减速提供了一个机会,让美国“将自己定位为AI技术如何开发和使用的指南针”。她认为相反论点是一套熟悉套路的一部分。“每次行业想逃避监督,中国就会被当作妖怪搬出来。”

Kokotajlo则把情况比作他看过的一个卡通:人们开着车冲下悬崖,对话气泡里说的大概是“万岁,我们领先中国了”。

真正的技术背景:递归自我改进(RSI)

最近所有恐慌背后的核心是一个被称为递归自我改进(RSI)的里程碑。根据行业当前轨迹,我们只是开始听到警报声。

RSI指的是一个潜在的行业里程碑,届时AI模型可以训练、推进并创建自己的新版本——完全无需人类参与。Anthropic表示这一时点最早可能在2027年初到来,OpenAI首席科学家本月早些时候写道,OpenAI正在投入大量资源实现这一目标。AI行业越来越多的工程师和研究者担心,RSI会带来一系列新的更严重的AI问题,包括更严重的网络安全事件,对社会造成更深影响。

Amodei将RSI列为呼吁减速的主要因素:“自今年夏天左右以来,AI进步速度急剧加快。”他在最近的文章中写道,RSI“正在整个行业开始发生,包括在Anthropic……如果不加控制,它可能超出我们理解和控制系统能力,因此必须非常谨慎地追求,甚至根本不应追求”。Amodei提议对RSI速率实施“某种‘限速’”,并将其比作导弹数量上限。

在Jacob Coxon从Anthropic的辞职帖中,他警告“超级系统可以黑入任何东西,在一夜之间彻底改变任何领域,并获得真正的权力和资源”。领先AI实验室的许多其他研究者也响应了他的担忧。OpenAI研究员Jasmine Wang写道,加速走向RSI“危险到难以言表”。前Google DeepMind员工Vishal Maini表示,RSI“现在如此迫近,以至于没有其他选择是合理的”。

对RSI的恐惧很容易变得末日论。Anthropic研究员Samuel Marks在X上写道:“AI开发者相信他们的技术可能导致人类灭绝(或类似糟糕结果)。”“这可能在未来几年发生。一般来说,员工越资深,越担忧。”另一位Anthropic研究员兼团队负责人Evan Hubinger在X上写道:“Jacob在这里是对的——我们真的真心相信AI可能杀死所有人类!”(他估计未来十年概率超过10%。)前Google DeepMind员工Alex Turner写道:“许多研究者相信他们正在构建可能杀死地球上所有人的东西。思考如何阻止那件事曾经literally是我的日常工作。”

OpenAI研究员Micah Carroll写道,Coxon的信念是一个“跨党派立场”,所有前沿AI公司的研究团队都相信“一切照旧的AI开发构成不可接受的灾难性风险”。Carroll补充说:“但我们也不应该将灾难性风险超信化为存在——它们可以通过有牙齿的安全要求、国际协调以及除非有足够安全进展让我们集体自信否则不构建超级智能的共识来大幅降低。”

这种“国际协调”正是AI领袖和公众现在所呼吁的。NYU的Reese说:“我们从未处于真正理解AI要驶向何处的情况。我们一直有一个模糊未定义、我们并不真正理解但必须击败中国才能到达的终态。当我们甚至不理解路径、甚至不理解终点线——甚至是否存在终点线时,真的很难竞赛。”

信息来源

The Verge AI原始来源