Meta与华盛顿大学提出字节级蒸馏，预测下游准确率上限比Token蒸馏高4个百分点
论文《突破Token天花板：蒸馏出更小、更强的字节模型》提出把教师模型的Token概率分布转换到字节级，以Llama 3-8B为教师实验，End-Of-Token方案预测平均准确率上限52.4%，但需多付约30.94%训练计算量。
AI解读：这项研究把蒸馏的学习单位从Token换成Byte，想让小模型摆脱分词器词表的限制。字节只有256种基础取值，保存完整概率分布比保存十几万Token候选便宜得多，这是它值得被关注的具体理由。
真正的新意在于教师分布怎么搬家。教师预测的是Token，学生预测的是字节，Meta和华盛顿大学提出Marginalize-It和End-Of-Token两种转换方案，都只需教师做一次前向计算，把Token概率逐步分解到对应字节位置。
代价也很具体：End-Of-Token在每个Token后加结束标记，处理相同文本量时训练计算量比普通字节模型高约30.94%，论文尚未完成等推理成本下的公平比较。字节级蒸馏目前是一条被外推验证的路径，不是已经落地的省钱方案。
Meta FAIR与华盛顿大学的研究者发表论文《突破Token天花板：蒸馏出更小、更强的字节模型》，提出在知识蒸馏时把学习单位从词元（Token）换成字节（Byte），让学生模型直接学习教师模型在字节级别的概率分布。
论文提出的End-Of-Token方案在实验中预测，随着训练计算量增加，其下游平均准确率上限为52.4%，比传统Token蒸馏的预测上限48.4%高4个百分点。
研究以Llama 3-8B为教师模型，三类学生模型的Transformer层参数量相同，均约为12.8亿；计入词表相关参数后，Token学生总参数约18.1亿，字节学生约12.8亿。
把教师的Token概率拆成字节分布
传统蒸馏让学生学习教师在庞大Token词表上的概率分布。Llama 3-8B的词表包含128256个Token，每个预测位置对应十几万个候选概率；离线蒸馏通常只能保留概率最高的一部分，即top-k截断。
字节只有256种可能取值，即使加上少量特殊符号，每个位置需要保存的概率也不过两百多个，完整分布更容易保留。但教师预测整个Token，学生预测单个字节，需要把教师的概率分布一起转换。
论文提出两种方案。Marginalize-It直接聚合并重新分配概率：以Tiramisu被切成T、iram、isu为例，预测第一个字节时把所有以i开头的候选概率加起来；遇到候选Token长度不同时，已经结束的候选不再往后追，把剩余候选概率重新归一化，只需一次教师前向计算，但会丢掉一部分已结束Token的概率信息，本质上是一种近似。
End-Of-Token在每个Token末尾加入一个特殊符号，把“Token结束”本身变成一个明确的预测位置。走到前缀is时，学生可以预测u、k，也可以预测结束标记。原本因长度不同而悬空的那部分概率有了去处，在保留Token边界的同时更完整地映射教师分布。两种方法都只需教师做一次前向计算，不必为不同分词路径反复调用教师模型。
六组实验：Token学生起步快，字节学生后劲足
团队测试了Token、普通字节和带结束标记的字节三种表示，每种再分为监督训练与蒸馏训练，共六组。教师统一使用Llama 3-8B，训练逐步增加数据和计算量，字节模型训练覆盖约万亿字节规模，在选择题问答、语言生成和机器翻译三类任务中完成八项评测。
Token模型在计算量较小时学得更快，但很快接近平台期；字节模型起步更慢，却随计算量增加持续改善。论文称Token模型赢在前期效率，字节模型表现出更好的Scaling潜力。
只看BPB（每字节预测损失），几种字节模型很早超过Token模型，但做题成绩仍更低。论文认为BPB衡量预测文本准不准，下游任务看最后答案能否选对，两者不是一回事，因此没有直接拿BPB判断强弱，而是拟合“训练计算量→BPB→下游任务成绩”，再预测继续Scaling后的能力上限。
预测结果显示，三种蒸馏方案的平均准确率上限为：Token蒸馏48.4%，Marginalize-It蒸馏50.5%，End-Of-Token蒸馏52.4%。普通字节监督模型的渐近准确率预测为51.2%，高于Marginalize-It蒸馏。论文认为后者为省计算丢掉了一部分Token结束后的概率信息。
论文称按Scaling曲线外推，End-Of-Token大约在6.33×10²² FLOPs时能追平Token蒸馏48.4%的预测上限。
存储降了，计算涨了
论文表示字节级蒸馏能显著降低数据和教师分布的存储压力。按论文的预测计算预算，End-Of-Token处理的实际文本量约为Token方案的六分之一；在Token只保存top-600、字节保存完整分布的设置下，存储量也只有约五分之一。
但更少的数据不代表更少的计算。End-Of-Token在每个Token后加入结束标记，处理相同文本量时训练计算量比普通字节模型高约30.94%。论文尚未完成等推理成本下的公平比较。
论文作者包括华盛顿大学博士生Kalyani Marathe（一作，师从Luke Zettlemoyer）、Artidoro Pagnoni、Tomasz Limisiewicz、Margaret Li，以及Meta FAIR的Mike Lewis、Srinivasan Iyer和华盛顿大学教授、Meta FAIR Seattle负责人Luke Zettlemoyer等。论文参考链接为arXiv:2609.12303。