PhAI Labs将JEPA扩展为跨七领域世界模型,并生成一个肝癌候选组合
论文提出JEPA-Anything,把预测状态拆成四个正交因子分别预测再重组;在简化Pong场景中预测误差下降 35%,并给出IL-18联合CD73阻断的肝癌候选方案,但研究未证明其可成为疗法。
AI解读:JEPA类模型不重建像素等原始数据,而是预测缺失或未来状态的抽象摘要。JEPA-Anything的改变是把预测状态拆成四个正交因子,每个因子由独立预测模块处理,再用约束推动模块捕捉不同侧面,最后重组为完整世界状态。
作者认为标准做法把一切汇入单一预测,使容易的模式淹没较难的模式。与同架构、同数据、同条件的标准JEPA相比,动态系统上提升最明显:简化Pong环境中有针对性干预时预测误差下降 35%,训练中未见的干预组合下降 13%。
在物理、机器人、天气预测的十项测试任务中,作者称JEPA-Anything一致优于基线;Burgers方程误差下降近一半,但 50 步预测后优势缩小到约 3%。单细胞数据上细胞类型分配更可靠,临床数据上对 1000 多个可能疾病事件的预测略好,图像任务差异较小。
最受关注的案例来自肝癌:研究者分析模型从基因活性、蛋白水平、CRISPR筛选等生物数据中学到的部分预测,排名最高的候选是IL-18联合CD73酶阻断。团队在肝癌细胞与免疫细胞共培养、各三个患者的类器官和肿瘤组织以及小鼠中做了测试,类器官和组织样本中该组合杀死的肿瘤细胞多于单独使用IL-18或CD73阻断,T细胞和自然杀伤细胞活化更强。研究未确立这是否能成为实际疗法。
另一个案例中,模型在未获得任何物理量的模拟轨道数据上训练,学到的规律几乎精确匹配开普勒第三定律:轨道频率与轨道大小的 -1.5 次方成正比,模型给出 -1.4991。作者提醒,学习到的部分清晰分离不等于捕捉到真实因果关系,模型何时可靠到能指导实验设计仍是开放问题;团队长期目标是让AI智能体用JEPA-Anything提出并排序实验,再把结果反馈给模型。代码和模型已公开。
PhAI Labs与斯坦福、牛津、普林斯顿的研究者发表论文,提出JEPA-Anything,将Yann LeCun提出的JEPA架构扩展到七个差异很大的领域。
该工作还产生了一个肝癌治疗候选组合IL-18联合CD73阻断,团队在细胞、类器官、患者肿瘤组织和小鼠中做了实验室测试;研究本身并未确立这一组合能否成为实际疗法。
JEPA-Anything怎么改:把预测状态拆成四个正交因子
JEPA类模型不重建像素等原始数据,而是预测缺失或未来状态的抽象摘要,过滤掉无关细节。论文作者认为标准做法存在弱点:所有内容被汇入单一预测,容易的模式会淹没较难的模式。
JEPA-Anything把预测状态拆成四个正交因子,每个因子由自己的预测模块处理;一个额外约束推动这些模块捕捉不同侧面,而不是学到同样的东西,模型再把这些部分预测重组为完整世界状态。研究者不为各部分指定含义,让角色在训练中自行出现,他们只针对不同领域改变数据准备方式。
与标准JEPA的同条件对比
- 在简化Pong环境中有针对性干预时,预测误差下降 35%;对训练中未见的干预组合,误差下降 13%。
- 作者称在物理、机器人、天气预测的十项测试任务中,JEPA-Anything一致优于基线。
- 在流体动力学常用基准Burgers方程上,另一项评估中误差下降近一半;但 50 步预测后优势缩小到约 3%。
- 在水、石英、对乙酰氨基酚和苯的模拟中,即使经过 100 步,该方法也得分最高。
- 单细胞数据上细胞类型分配更可靠;临床数据上对 1000 多个可能疾病事件的预测略好;图像任务差异较小。
- 在模拟步行机器人的运动规划中,JEPA-Anything在三个环境中的两个胜出,标准模型在第三个中领先。
肝癌候选组合的实验室测试范围
研究者分析模型从生物数据中学到的部分预测,数据包括基因活性、蛋白水平和CRISPR筛选。排名最高的候选将IL-18(一种激活免疫细胞的信号分子)与CD73酶阻断配对,肿瘤会利用CD73抑制附近免疫反应。
团队在肝癌细胞与免疫细胞共培养、来自各三名患者的类器官和肿瘤组织以及小鼠中测试了该组合。在类器官和组织样本中,该组合杀死的肿瘤细胞多于单独使用IL-18或CD73阻断,T细胞和自然杀伤细胞表现出更强活化。来源明确指出,该研究未确立这一组合能否成为实际疗法。
轨道模拟与作者自陈的限制
在第二个案例中,研究者在未提供任何物理量的模拟轨道数据上训练模型,学到的规律几乎精确匹配开普勒第三定律:轨道频率与轨道大小的 -1.5 次方成正比,模型给出 -1.4991。团队只评估了一次训练运行,并挑选了误差最低的那次。
作者也提醒,学习到的部分清晰分离,不等于它们捕捉到真实的因果关系;模型何时可靠到足以指导实验设计,仍是开放问题。团队的长期目标是让AI智能体用JEPA-Anything提出并排序实验,再把结果反馈给模型。论文称代码和模型已公开。