苹果提出probe guidance方法，为扩散语言模型提供新的推理引导方式
苹果在Machine Learning Research博客发文介绍probe guidance，利用扩散模型冻结的内部状态构建引导信号，无需推理时额外前向传播，在连续扩散语言模型的无条件生成上取得新最优，并在 1.7B模型上提升了多项选择题基准
AI解读：这项研究解决的是扩散语言模型在引导生成时的一个实际开销问题：此前类似autoguidance的方法需要额外前向传播，probe guidance用模型自己冻结的内部状态来造引导信号，推理时不再多跑一次。
对做扩散语言模型的研究者来说，有用的点在于：方法不要求额外训练一个弱模型，还给出了让弱模型和强模型动力学保持相似的一条可靠路径。它先在连续扩散语言模型上验证，无条件生成刷到新最优，1.7B模型上多项选择题基准也稳定提升。
另一个发现更偏机制层面：作者用probe研究了传统autoguidance中“强模型是弱检查点”的设定，发现弱模型必须来自训练的低熵区域。这对抗理解autoguidance为什么有效提供了实验依据，但研究仍属初步，缺少更广泛任务和更大规模模型的公开效果数据。
苹果机器学习研究团队（Apple Machine Learning Research）发布文章，介绍一种名为probe guidance的新方法，用于引导流匹配（flow matching）模型。作者为Rohit Dilip†、Tianrong Chen、Yuyang Wang、David Van Valen†、Josh Susskind、Miguel Angel Bautista，其中 † 标注为加州理工学院（Caltech），部分工作完成于作者在苹果期间。
该方法使用一个已有扩散模型的冻结内部状态来构建引导信号。文章称其原理与autoguidance类似，但消除了推理时额外前向传播的需要，并提供了一条可靠路径来确保弱模型和强模型共享相似的动力学。
作者将probe guidance应用在连续扩散语言模型上，并进行了基准测试。文章称，该方法在无条件生成上取得了新的最优性能（state-of-the-art）。当应用于一个 1.7B参数规模的扩散语言模型时，probe guidance在多项选择题问答基准上持续带来改进。
研究者还用这些probe研究了传统的autoguidance设定，即强模型是一个弱检查点（weak checkpoint）的情形，发现弱模型必须来自训练的低熵区域。
文章表示，这些发现既提供了改进扩散语言模型的实用方法，也揭示了目前理解不足的autoguidance背后的实际机制。
上述内容依据Apple Machine Learning Research页面上的摘要与正文片段整理，未包含未公开的完整论文细节。