研究Meta Engineering·原文 2026年10月14日

Meta称GEM广告模型带来18.9%转化提升，训练FLOPs扩大4倍

Meta Engineering发布博文介绍其生成式广告模型GEM的2026代：从按Facebook、Instagram、Reels分域优化转向单一中央基础模型，并给出过去一年的效果数字与训练效率数据。

AI解读：Meta Engineering博文称，GEM从按Facebook、Instagram、Reels等分域独立优化，转为单一中央基础模型，跨全部广告平台数据与信号学习，覆盖数十个界面和优化目标。

架构方面，Meta用Kunlun替换上一代Interformer，称同等计算规模下性能提升2倍；训练端称端到端训练效率翻倍至20%—25% MFU，总训练FLOPs扩大4倍。

博文称生产环境长序列上下文长度扩大2倍，并具备扩大到25倍的能力；组件跳过（CompSkip）使FLOPs减少43%，质量损失可忽略。

上述效果与效率数字均出自Meta官方博文，属于公司主张；博文说明推理时不在线上请求中实时评估大模型，而是由Solaris提前推测计算用户—广告嵌入。

适用对象包括Facebook、Instagram、Reels、Stories等界面，以及站外转化、移动应用安装等目标；博文未给出广告主侧的独立验证数据或成本数据。

Meta Engineering在10月13日发布博文，介绍生成式广告模型GEM的2026代从按Facebook、Instagram、Reels等分域独立优化，转向单一中央基础模型。

博文称，GEM在Meta全部广告界面和优化目标上取得18.9%的转化提升和12%的广告点击率提升；过去一年在Facebook、Instagram和站外转化上，对目标用户分别贡献5.8%、4.1%和1.6%的转化提升。

从分域模型到单一中央模型

博文称，每个界面和优化目标此前各有独立预测系统，GEM用单一中央基础模型联合预测跨全部界面的点击与转化，覆盖从站外转化到移动应用安装等主要广告主目标。

Meta表示，在点击这类数据充裕任务上学习的通用表征会迁移到数据稀疏的转化任务；新训练方案采用无成本数据混合和领域专家框架处理异构大规模学习。

博文称这是首个跨全部界面联合预测CTR、跨主要优化目标预测CVR的模型，并称GEM是Meta广告推荐的中央模型与计算引擎。

GEM采用LLM风格的Kunlun架构，取代上一代的Interformer。Meta称在同等计算规模下Kunlun性能提升2倍，并观察到类似LLM的扩展规律：在最大预训练规模下，模型复杂度较早期GEM版本增长2.5倍。

博文给出的具体技术手段包括：用块对齐稀疏注意力把序列长度相关复杂度从二次降到线性；把pFFN改写为广义点积注意力，目标是把多种注意力类操作统一到单个GPU内核，前向速度最高提升2倍；跨交互组件采用MoE式专家并行。

博文称，把GEM这样规模的模型实时用于服务成本过高且增加延迟。Meta用结构化表征LoopFM把GEM的内部表征和序列历史记忆迁移到下游模型，并称通过计算共享，在知识蒸馏基础上把智能迁移效果翻倍，且不增加计算成本或延迟。

Solaris则用推测式计算把大模型移出实时请求路径：它在多阶段排序把请求缩小到顶部广告候选后，在异步后台任务中评估用户—广告对，把嵌入准时送到服务热路径。精确嵌入不可用时，系统会降级为聚合该用户近期嵌入或借用行为相似用户的数据。

博文称这两项的适用条件是不在线上广告请求中实时评估全部广告候选，以此换取更大的延迟预算。

GEM目前在数千块最新一代GPU上以LLM规模训练。博文称，数据中心GPU及其软件栈主要面向LLM工作负载优化，而推荐负载数据特征不同，难以在高扩展下保持GPU计算利用率。

Meta称端到端MFU等于本地MFU乘以扩展比，并称通过低精度自定义内核、新的5D并行策略以及与硬件的协同设计，端到端训练效率翻倍至20%—25% MFU，总训练FLOPs扩大4倍。

博文提到随附还有一篇关于LLM规模训练GEM的技术博文，本次博文未展开该部分细节。