苹果等机构发布首个三模态掩码扩散模型，3B参数下验证文生图与文生语音
苹果机器学习研究团队联合剑桥、MIT、Google DeepMind等机构，首次从零预训练文本、图文、音频文本三种模态的掩码扩散模型，系统分析多模态缩放规律并给出推理采样默认参数。
AI解读：这项研究的核心新增信息是：作者称其为首个在文本、图文、音频文本三种模态数据上从零预训练的三模态掩码扩散模型（MDM），而非此前常见的先训练单模态基座再微调为双模态。
研究系统分析了多模态缩放规律、模态混合比例、噪声调度和批量大小的影响，并给出优化的推理采样默认参数。
批量大小分析提出一种基于随机微分方程（SDE）的重参数化方法，将物理批量大小与逻辑批量大小解耦。物理批量大小通常依据GPU饱和、FLOP效率和墙钟时间选择，逻辑批量大小用于平衡随机优化中梯度的方差。
作者称在3B模型规模和6.4T tokens上预训练了一个初步模型，在文本生成、文本到图像（T2I）和文本到语音（T2S）任务上均取得较强结果。
作者称这是迄今规模最大的多模态离散扩散模型系统性开放研究，相关结论限于该研究设定的架构、数据与训练条件，未提供与其他模型的逐项公开对比数据。
苹果机器学习研究团队发布论文《The Design Space of Tri-Modal Masked Diffusion Models》，作者包括Louis Béthune、Victor Turrisi、Bruno Kacper Mlodozeniec、Pau Rodriguez Lopez、Lokesh Boominathan等，部分作者标注来自剑桥大学、MIT和Google DeepMind（部分工作标注为在苹果期间完成），第一作者和资深作者标注为同等贡献。
作者称，该研究首次提出在文本、图文和音频文本三种数据上从零预训练的三模态掩码扩散模型（MDM），与近期先初始化并微调单模态基座模型以支持双模态生成的做法不同。
缩放规律、模态混合与噪声调度
研究对多模态缩放规律、模态混合比例、噪声调度和批量大小效应进行了系统分析，并给出优化的推理采样默认参数。作者没有在摘要中披露各模态数据的具体比例、噪声调度的具体形式或采样默认值的具体数值。
批量大小的SDE重参数化
在批量大小分析中，作者提出一种基于随机微分方程（SDE）的重参数化方法。该方法将物理批量大小与逻辑批量大小解耦：物理批量大小通常依据计算条件选择（如GPU饱和程度、FLOP效率和墙钟时间），逻辑批量大小则用于平衡随机优化过程中的梯度方差。作者称，这一重参数化消除了近期工作中需要调优最优批量大小的需求。
3B参数预训练与三任务结果
作者预训练了一个初步模型，在3B模型规模、6.4T tokens数据上取得文本生成、文本到图像（T2I）和文本到语音（T2S）任务的结果。作者称这些结果展示了统一设计的潜力，但没有在摘要中给出各任务的具体评测分数或基线对比数值。
规模定位
作者称，这是迄今在多模态离散扩散模型上规模最大的系统性开放研究，为跨多个模态的缩放行为提供了参考。该结论限于作者设定的模型架构、数据组成与训练条件。