亚马逊科学博客：知识蒸馏加Medusa，让70B教师模型能力落到1.1B小模型，推理快10至20倍
亚马逊科学称，与Booking.com合作把知识蒸馏和Medusa并行解码组合成一条流水线，在旅行场景的三个功能上让TinyLlama学生模型达到Llama-3.1 70B教师模型的质量，成本降至不到三分之一、速度提升最高20倍；这些数字来自其自述实验。
AI解读：亚马逊科学博客介绍，其团队与Booking.com合作，把知识蒸馏（KD）和Medusa并行解码组合成统一训练流程，用于旅行平台的AI行程规划、智能筛选和住宿描述生成三个功能。
实验设置：学生模型为11亿参数的TinyLlama，教师模型为700亿参数的Llama-3.1。分四步推进：先做任务微调；再加知识蒸馏；最后加入Medusa头。
亚马逊科学称，任务微调后的小模型准确率已明显高于few-shot GPT-4o；知识蒸馏把与教师模型的差距缩小90%以上，推理约快6倍；叠加Medusa后再快2至3.6倍。
最终组合模型质量与70B教师模型相当，推理快10至20倍，成本不到三分之一。三个功能分别报告：AI行程规划用户参与度比GPT-3.5高2.9%；智能筛选99%的查询快15倍；住宿描述“有帮助”评分多1.4%，成本不到GPT-4的三分之一。
这些结果来自亚马逊科学和Booking.com团队的自述实验，覆盖上述三个旅行功能，是否适用于其他任务或流量规模，来源未提供更广的验证。
亚马逊科学博客发文称，其团队与在线旅行社Booking.com合作，把知识蒸馏（KD）和Medusa并行解码组合成一条训练与推理流水线，用于旅行平台的三个LLM功能。研究团队报告，组合后的最终模型达到700亿参数教师模型的质量，运行速度快10至20倍，成本不到三分之一。
该博文介绍，相关工作曾在去年计算语言学协会（ACL）会议上展示，并获Industry Track最佳论文奖。
三个旅行功能与各自的优化目标
博客称，合作聚焦Booking.com用户体验中的三项功能：AI Trip Planner是对话式助手，需要在不到一秒内从对话中提取旅行偏好；Smart Filters把自然语言搜索查询实时转成结构化筛选条件；Accommodation Description Generation要为数百万条房源生成描述。前两项主要优化延迟，第三项主要优化成本。
方法：先蒸馏，再在紧凑模型上挂Medusa头
博客解释，Medusa在推理阶段加速：在基础LLM上加装多个预测模块（Medusa heads），每个头对应一个并行解码的token，让模型并行预测多个token，而非一次只生成一个。博客称其通常可带来2至4倍加速，且不损害生成质量。
知识蒸馏则是先微调教师模型，用它为无标注领域文本生成预测，再把人工标注数据和教师标注数据合并，训练一个小得多的学生模型去模仿教师行为。
研究团队把两者整合为统一流水线：学生训练阶段直接在学生模型上挂Medusa头，在合并后的语料上训练，得到同时继承教师知识和多token预测能力的单一紧凑模型。
四步实验与报告数字
实验选用11亿参数的TinyLlama为学生、700亿参数的Llama-3.1为教师，对三个用例各做四步渐进实验。团队称，即使只做任务微调，小模型准确率也已明显高于few-shot GPT-4o；但仍不及教师模型。
加入知识蒸馏后，与教师模型的差距缩小90%以上，推理速度约为原来的6倍，博客称这仍不够实时使用。再叠加Medusa头，推理速度又提升2至3.6倍。团队测试了Medusa-1（冻结基座、单独训练头）和Medusa-2（单阶段联合训练）两种变体，两者加速效果相当、质量无明显损失；博客称Medusa-2流程更简单，更适合管理多个模型的生产团队。
最终组合模型在三个用例分别报告：AI Trip Planner的用户参与度比GPT-3.5高2.9%；Smart Filters对99%的查询快15倍；AI生成的住宿描述获得“有帮助”评分的比例多1.4%，成本不到GPT-4的三分之一。
- 学生模型：TinyLlama，1.1B参数；教师模型：Llama-3.1，70B参数
- 知识蒸馏：与教师差距缩小90%以上，推理约快6倍
- 叠加Medusa：再快2至3.6倍；最终整体快10至20倍，成本不到三分之一
- ACL Industry Track最佳论文奖（据亚马逊科学博客）
结果边界
博客把这些数字称为在Booking.com三个具体功能上的演示结果，用于说明旅行平台等依赖LLM的应用可以在真实场景中获得更快、更便宜且质量相当的响应。来源未给出这三个功能之外的任务表现，也未说明流量规模、硬件配置和评估方法细节；上述提速、成本和质量数字均为亚马逊科学与Booking.com团队的自述结论。