产品量子位·原文 2026年9月19日

Nature梳理“爱因斯坦测试”:GPT-1900从零训练后只摸到光量子门槛

独立研究者Michael Hla用1900年前语料训练33亿参数模型GPT-1900,它曾给出与爱因斯坦1905年光量子论述相似的句子,但在多数物理任务上失败,且实验过程借助了现代AI,无法证明“零污染”。

AI解读:哈萨比斯提出一个检验AGI的设想:把AI送回1911年,只给它爱因斯坦当时能掌握的知识,看它能否在1915年自行提出相对论。Nature把这类测试称为“爱因斯坦测试”。它考的不是模型能不能复述答案,而是能不能在训练材料之外做推理。

今年3月,独立研究者Michael Hla把这个截止时间提前到1900年,用Andrej Karpathy的nanochat框架从零训练了33亿参数的GPT-1900,预训练语料约220亿token,另加约2.9亿token的历史物理语料。他删除了含“爱因斯坦”“量子力学”“相对论”等现代概念的整份文献,试图造出一个不知道20世纪物理的大脑。

GPT-1900在光电效应问题上确实写出过类似“光可能不是连续的,而是由许多彼此分离、频率不同的部分组成”的表述,但Hla自己承认它距离“重新发现光量子”还很远:多数物理任务失败,看似突破的回答可能只是拼接合理词句。更关键的是,题目、线索和矛盾都是人类替它整理好的。

实验还有一个漏洞:Hla用Claude Sonnet 4、Claude 3 Haiku等现代模型生成指令问答并做强化学习评分,所以这个“1900年房间”并没有完全隔绝现代知识,无法排除模型“偷看”光量子理论的可能。

Google DeepMind研究员Tom Zahavy把科学推理分为归纳、演绎、溯因三层,认为大模型擅长归纳、演绎在进步,但缺少爱因斯坦式的溯因飞跃。MIT的Jacob Andreas则指出,生成理论只是第一步,判断哪个理论值得实验检验才是AI与人类专家的分水岭。

诺奖得主、Google DeepMind联合创始人哈萨比斯提出一个检验AGI的设想:如果把AI送回1911年,只让它掌握爱因斯坦当时能了解的知识,它能否在4年后的1915年自己提出相对论。Nature在最新文章中把这类测试称为“爱因斯坦测试”。

今年3月,独立研究者Michael Hla真的动手做了一次。他把知识截止时间提前到1900年,项目名为Machina Mirabilis,借用爱因斯坦1905年“奇迹年”的说法,从零训练了一个33亿参数的Transformer语言模型GPT-1900。

GPT-1900的主要预训练材料是1900年以前的书籍和报纸,约220亿token;Hla又收集了2600多部历史物理书籍、期刊和科学著作,包括牛顿《光学》、麦克斯韦和法拉第的相关著作,形成约2.9亿token的历史物理语料。

为了防止答案泄漏,Hla清理了数据:一份文献中只要出现“爱因斯坦”“量子力学”“相对论”等现代概念,整份文献都会被删除;现代人添加的前言、脚注以及明显不属于1900年前的词汇也被过滤。

GPT-1900写出一句像光量子的话,但题目是人类划好的

Hla给GPT-1900出了一道光电效应题:为什么频率不够高时,光再亮也打不出电子;而提高频率,却能让电子获得更多能量?他还附上几条关键线索:低于某个频率门槛时再亮也不行;超过门槛后提高亮度主要增加电子数量,提高频率才增加电子动能;同时摆出当时流行的经典假设,方便模型对照。

GPT-1900在一次回答中写出大意如下的描述:光可能不是连续的,而是由许多彼此分离、频率不同的部分组成。这确实神似爱因斯坦“能量一份一份传递”的解释,Hla也把它形容为“直觉的闪现”。

但Hla坦言,GPT-1900距离“重新发现光量子”还有很远。它在大多数物理任务上都失败,那些看似突破的回答可能只是模型在拼接合理的词句,谈不上形成了真正可靠的物理理解。更何况,现象、矛盾和方向都是Hla替它筛好、理好的,模型要做的只是找出哪项假设可能出错并给出解释。

爱因斯坦当年没有人替他划重点。

“零污染”没守住:实验过程用了现代AI

Hla在实验过程中借助了现代AI Claude的帮助,用Claude Sonnet 4、Claude 3 Haiku等模型生成指令问答,强化学习也靠现代模型评分。

Hla虽然在数据清洗中过滤了涉及现代知识的内容,但这座“1900年的房间”并没有完全隔绝现代知识。实验者自己在日志中承认,现代模型的介入让这场实验的“零污染”人设有点立不住。研究者很难证明GPT-1900到底有没有“偷看”光量子理论。

也就是说,考AI创造力之前,研究者得先证明它没偷看答案。只要有一条后世信息漏进训练集,“重新发现”就可能变成一次悄悄的知识召回。

会生成理论不等于会成为科学家

Google DeepMind研究员Tom Zahavy在立场论文《LLM无法跳跃》中把科学推理分为三个层次:归纳是从大量例子中总结规律;演绎是从已有前提出发推导必然结论;溯因是面对异常现象,发明一个此前不存在的原因或解释。Zahavy认为,当前大模型已非常擅长归纳,演绎能力也在迅速提高,但仍缺少爱因斯坦式的“溯因飞跃”。

Sendhil Mullainathan研究一个学习行星轨道的基础模型时也观察到类似现象:在设定好的行星轨道任务里,模型预测得头头是道,一换新场景,就没法举一反三地运用牛顿力学。它更像给每套数据临时拼出一套规则,分不清哪些理论真正正确、值得检验,哪些只是碰巧符合眼前数据。

MIT计算机科学家Jacob Andreas指出,AI产生一套相对论式表述本身可能并不是最困难的部分,真正困难的是它能不能判断哪些理论是正确的,或者至少值得被实验检验。Andreas强调,怎么判断一个想法值不值得深挖、如何评估它的重要性,才是AI与人类专家最大的分水岭。

真实的科研工作不是解答一道整理好的习题,而是在混沌中自主做出判断。即便未来AI真能通过“爱因斯坦测试”,在宣布“AI成为爱因斯坦”之前,它至少得证明:在没人替它划重点时,它照样能自己找到值得追问的问题,判断问题的价值,并主动验证和修正。

信息来源

量子位原始来源