产品量子位·原文 2026年9月19日本站收录 2026年9月20日

PhAI Labs发布JEPA-Anything:同一预测核心跨七类系统验证

论文报告称,该框架在九项预测任务中相较标准JEPA提升性能,Burgers方程MSE下降 39.7%;在十项对齐基准中,JEPA-Anything并非每项都更好,Hopper任务上标准JEPA表现更佳。

AI解读:JEPA-Anything想解决的问题是:不同领域的变化规律不一样,但AI在预测它们“如何变化”时能不能共享一套底层方法。研究者的做法是保留各领域自己的观测形式、编码器和context-target构造,只统一后面的预测核心和一套隐空间世界状态接口。

关键机制叫OPF(正交预测分解)。标准JEPA把所有信息压进一个target embedding、走同一条预测路径,容易让变化显著、易预测的信号抢占预测容量;OPF把目标状态切成多个互补子空间,由不同分支独立预测,再用正交约束减少重复学习。

论文把同一预测核心放到视觉、生物、临床、控制、分子、物理场和天气七类系统中验证。在十项严格对齐的动力学基准里,九项预测任务性能提升,例如Burgers方程MSE下降 39.7%、浅水方程下降 39.3%、WeatherBench 2下降 10.5%。

但实验也显示了边界。连续控制中Walker2d和HalfCheetah上JEPA-Anything平均得分更高,Hopper上标准JEPA更好;预测距离拉长后误差仍会累积,Burgers预测从 20 步增至 50 步时领先优势明显缩小。论文验证的是共同预测原则的跨领域适用性,而非已经实现统一所有领域的世界模型。

两个延伸案例试图说明模型内部结构可以当分析接口:肝癌研究中,研究者从正交因子坐标筛出IL-18联合NT5E/CD73阻断方案,并在细胞系、患者来源类器官、肿瘤组织碎片和小鼠中验证;行星轨道案例中,模型仅输入位置和速度,未给开普勒定律,频谱分析提取出的轨道频率-半长轴关系拟合斜率为 -1.4991,理论值为 -1.5。

PhAI Labs联合牛津、斯坦福、普林斯顿、港中文等高校团队发布JEPA-Anything,一个面向不同“世界”学习预测模型的跨领域框架。相关技术报告、GitHub和Hugging Face页面已公开。

论文将“世界模型”定义为:只要模型能根据Context建立内部状态,并预测同一系统中的另一个状态,就属于隐空间世界模型,这里的“另一个状态”可以是时间上的未来,也可以是空间上的隐藏区域、不同视角,或施加干预后的结果。

JEPA-Anything的做法是每个领域保留自己的观测形式、context-target构造和编码器,但共享后面的预测核心以及一套统一的latent world-state interface。

核心机制是OPF(Orthogonal Predictive Factorization,正交预测分解):不再把所有变化堆在一起学习建模,而是把目标状态切割为多个彼此互补的子空间,交由不同预测分支独立处理,再拼回完整世界状态。

为防止多分支变成“多套人马学同一件事”,OPF引入正交约束,让不同factor尽量占据互不重叠的预测方向;同时通过因子活性约束和编码器方差约束,避免部分factor失活,并降低表示坍缩风险。这些factor学什么由数据中的可预测结构决定,并未预先规定“负责速度”“负责温度”或“负责某条生物通路”。

十项对齐基准中九项提升,Hopper上标准JEPA更好

论文构建了一套严格对齐的动力学基准(Matched Dynamics Benchmark),在十项任务中确保标准JEPA与JEPA-Anything使用完全相同的训练数据、编码器、状态转移骨干网络、计算预算及评估切分。

在其中九项预测任务中,JEPA-Anything的性能指标均有所提升:PDEBench里的Burgers方程MSE下降 39.7%,浅水方程下降 39.3%,WeatherBench 2下降 10.5%。

论文还做了多步rollout,让每一次预测继续成为下一次预测的输入,观察误差传递。在连续控制测试中,JEPA-Anything在Walker2d和HalfCheetah上平均得分高于标准JEPA,但在Hopper上标准JEPA表现更好。

在额外的Burgers测试中,当预测长度从 20 步增加到 50 步时,JEPA-Anything虽然仍然领先,但优势已明显缩小。论文因此称,报告验证的是“共同预测原则存在跨领域适用性”,而非“已经实现一个统一所有领域的世界模型”。

CITRIS Interventional Pong:未见多因子组合干预下MSE下降约 3.5%

论文先在一个基于简化Pong构造的受控动态环境CITRIS Interventional Pong里做实验,验证模型能否将复合变化“拆解学习、再行组合”。

训练阶段模型仅接收单一因子的变化数据;测试阶段则需要面对此前从未出现过的多因子组合干预。论文称,如果模型只是死记训练集中的完整模式,面对全新组合必然失效;如果学到的是可复用的状态变化规律,就更有机会重新组合它们。

实验结果表明,在分布内的单项干预中,JEPA-Anything相较标准JEPA降低约 11.7% 的预测误差;在未见过的多因子组合干预中,均方误差(MSE)下降约 3.5%,且在五组配对训练seed中全部改善。

分子系统:四种体系 100 步自由rollout后误差最低

分子实验中,模型在液态水、α-石英、对乙酰氨基酚和苯四种体系中持续预测未来的原子位置和速度,并把自己的输出不断喂回作为下一步输入。

论文称,无论是一步预测的MAE,还是 100 步自由rollout后的最终位置RMSD,JEPA-Anything在四种分子系统中都拿到了最低误差。

肝癌类器官与行星轨道:把模型内部结构当分析接口

在肝癌研究中,研究人员没有把JEPA-Anything只当黑盒预测器,而是分析其内部形成的正交因子坐标,从中筛出一个候选组合:IL-18联合NT5E/CD73阻断。

研究团队将该方案推进到Huh7-PBMC共培养体系、患者来源的肝细胞癌类器官和肿瘤组织碎片,之后还加入免疫健全小鼠验证。实验数据显示,在 3 份患者类器官与 3 份肿瘤组织碎片中,IL-18与CD73阻断剂的组合均展现出最强的肿瘤细胞杀伤力,并伴随显著增强的免疫细胞激活。

行星轨道案例则反过来用已知的开普勒第三定律检验模型内部学到的东西。研究者仅向模型输入模拟产生的行星位置与速度轨迹,未附带任何先验公式。

训练完成后,研究人员对模型的隐模式进行频谱分析,并将提取出的频率与轨道半长轴配对。结果显示,从latent modes中提取出的“轨道频率-半长轴”关系拟合斜率为 -1.4991,开普勒第三定律理论值为 -1.5,且R²=0.99999999。

论文称,两个案例从不同方向为“模型学到的内部结构可以成为科学分析接口”提供了案例证据。在PhAI Labs的整体脉络中,JEPA-Anything位于“科学发现大模型”(Discovery Foundation Models, DFM)设想的世界模型层,试图在耗时更长、成本更高的真实实验之前提供一层近似判断。

信息来源

量子位原始来源