亚马逊提出HOPE：用二阶剪枝保留MoE中协作专家组
亚马逊研究者在Hugging Face博客介绍HOPE方法，按专家两两交互而非单独打分来决定剪除哪些专家；据其报告，在Qwen3.5-35B剪除 50% 专家后，SWE-Bench Pro得 42.3，未剪枝模型为 41.8，REAP为 36.2。
AI解读：HOPE针对MoE模型的专家剪枝：传统方法给每个专家独立打重要度分，HOPE改为求解包含专家两两交互项的二次规划，在相同剪枝预算下选择使校准集误差上界最小的专家集合。
据作者报告，在 3 个模型、2 个校准集和 10%–50% 剪枝率的多组条件下，HOPE平均排名 2.07（5 种方法中），50% 剪枝时平均排名 1.58，次优的REAP为 2.42。
最突出的单项数据是Qwen3.5-35B-A3B在 50% 剪枝率下的SWE-Bench Pro：HOPE得 42.3，未剪枝模型 41.8，REAP 36.2；作者称剪枝后偶尔追平或超过基线，其他剪枝方法也有此现象。
适用边界由作者给出：HOPE优势集中在 40%–50% 的高剪枝率，10%–20% 时REAP、MAN等一阶方法有时不落下风；各层独立剪枝，未计入跨层交互，跨层版本仅有初步结果。
作者说明HOPE与一阶方法REAP的联系：F矩阵对角线几乎复现REAP的专家排序（Spearman ρ=0.988），因此性能提升来自非对角的两两交互项。
亚马逊研究者Alex M. Tseng、Prannay Kaul、Luca Zancato、Wei Xia、Stefano Soatto在Hugging Face博客发文，介绍一种名为HOPE的MoE专家剪枝方法，论文编号arXiv:2609.18916，代码放在GitHub的awslabs/HOPE仓库。
HOPE的做法是在校准数据上统计专家两两共同激活时的门控权重与输出范数，构成F矩阵，再求解一个带剪枝数量约束的二次规划，得到要删除的专家集合。作者称每层求解耗时 1–2 秒，校准只需一次前向，额外开销相对校准本身可忽略。
HOPE与传统专家剪枝的区别
标准MoE每层有E个专家，每个token只路由到门控权重最高的K个（典型K=8）。专家剪枝直接永久删掉部分专家以降低显存占用。博客举例：Qwen3.5-122B在 48 个MoE层各有 256 个专家，约 250 GB参数显存中 95% 被专家MLP占据，而每个token每层只用到 8 个专家。
现有剪枝方法按校准集给每个专家独立打一个标量重要度分，作者称之为一阶方法，因为它们假设专家贡献彼此独立。作者称实验中观察到专家会形成稳定的共同激活簇，并引用已有研究说明这种协作是MoE的稳定属性；只删掉A看似无害，但若与A常协作的B很重要，删除A会拆散协作组，这一效应在剪枝率高时被放大。
HOPE的目标函数是对剪枝误差主导项的一个可解上界，展开后自然出现专家i与j的交叉项。F矩阵对角元衡量单个专家重要度，非对角元衡量两两协作贡献。作者称F的对角线几乎完全复现REAP的专家排序（Spearman ρ=0.988），因此HOPE相对REAP的提升来自非对角项。
实验结果与数字
评测使用Qwen3.5-122B、Qwen3.5-35B、GLM-4.5-Air三个模型，Evol-CodeAlpaca与SWE-Bench Verified轨迹两个校准集，测试集为Tulu3套件与SWE-Bench Pro，对比REAP、MAN、EAN、Frequency四个一阶基线，剪枝率 10% 到 50%。
作者报告：所有条件综合，HOPE平均排名 2.07（共 5 种方法），39% 的条件排第一，67% 排前二；50% 剪枝时平均排名 1.58，次优的REAP为 2.42。SWE-Bench Pro上Qwen3.5-35B-A3B剪 50% 后HOPE得 42.3，未剪枝模型 41.8，REAP 36.2（作者称下滑 13%）。
作者还分析了HOPE与REAP选择不同的专家：仅被HOPE保留的专家，其与其余保留专家的平均F值更高，说明HOPE会牺牲部分单独得分高的专家以保住协作簇。此外，用代码类数据校准没有严重拉低非代码基准，HOPE在不同校准集下于Tulu3套件表现稳定。
使用方式与作者列出的限制
工具包分三步：hope calibrate用HuggingFace transformers钩住各MoE层前向，输出存为HDF5的F矩阵；hope solve用连续松弛求解二值二次规划，输出pruneset.json；hope prune生成剪枝后的标准HuggingFace checkpoint。作者称不需改vLLM或SGLang的模型定义，并提供calibrate/solve/prune_model的Python API。包已在Qwen3、Qwen3-Next、Qwen3.5、GLM-4.5上测试。
作者列出的限制：HOPE优势最明显在 40%–50% 剪枝率，10%–20% 时REAP、MAN等一阶方法有时相当；与其他专家剪枝算法一样，HOPE各层独立剪枝，未考虑跨层交互，论文中的跨层理论框架结果仍属初步；方法只捕捉两两交互，三元及更高阶交互可能提供额外信号，但组合上难以估计。