虽然 Token 取代了 Byte，但这并不意味着所有大模型都必须基于 Token 构建。字节模型，尤其是经过蒸馏后的模型，正展现出新的潜力。近期，Meta FAIR 与华盛顿大学联合发表了一篇题为《突破 Token 天花板：蒸馏出更小、更强的字节模型》的论文。该研究提出一个极具启发性的观点：在蒸馏过程中，能否将学习单位从庞大的 Token 词表切换为字节？实验结果表明这完全可行。团队通过在 Token 后添加结束标记，将教师模型的概率分布完整映射到字节级别。在以 Llama 3-8B 为教师的实验中，基于 Scaling 定律的预测显示，随着训练计算量的增加，字节级蒸馏的性能将反超传统的 Token 级蒸馏，下游任务的平均准确率上限高出 4 个百分点。相比传统蒸馏让学生学习教师在上百万 Token 上的概率分布，字节仅有 256 种基础取值，预测空间更小且不随分词器改变。这种“基本单位更小，能力上限更高”的矛盾现象，正是该研究的核心所在。
蒸馏技术已不陌生，其核心在于用大模型（教师）指导小模型（学生）学习。不同于普通监督训练仅告诉模型“下一个正确 Token 是什么”，蒸馏还要求学生掌握教师对各个候选 Token 的概率判断。然而，Token 的候选空间极其庞大。以 Llama 3-8B 为例，其词表包含 128,256 个 Token，这意味着每个预测位置对应着十几万个候选概率。若保存完整概率分布，存储成本极高，通常只能保留 Top-K 截断。相比之下，字节模型将候选空间压缩至 256 种（加少量特殊符号）。但挑战在于，教师模型预测的是整体 Token，学生模型预测的是单个字节，如何将前者映射到后者？论文提出了两种解决方案：Marginalize-It 和 End-Of-Token（EOT）。两者的核心思路都是将教师对不同 Token 的概率逐步分解到对应的字节位置上。
以单词“Tiramisu”为例，若被切分为 T、iram、isu，教师在预测下一个 Token 时，候选包含 isu、isk 和 is。在预测第一个字节时，可以将所有以“i”开头的候选概率相加。随着真实前缀变为“i”，再筛选匹配的候选继续计算后续字节概率，从而将 Token 分布拆解为逐字节的训练目标。
Marginalize-It：直接聚合并重新分配概率。但当遇到 Token 长度不同的情况（如前缀“is”时，“isu”和“isk”仍有后续字节，而“is”已结束），计算量会激增。该方案的处理方式是：已结束的候选不再追踪后续分布，仅保留当前前缀的概率并重新归一化。这种方法只需一次前向计算，效率极高，但代价是丢弃了已结束 Token 的部分概率信息，本质上是一种近似。
End-Of-Token（EOT）则给“Token 结束”预留了一个明确的位置。团队在每个 Token 末尾加入特殊符号，将候选扩展为 isu、isk 和 is。当前缀为“is”时，学生模型可以预测“u”、“k”或“”，表示 Token 结束。这种方法将原本悬空的概率落到了实处，能够更完整地保留 Token 边界信息。EOT 同样只需教师进行一次前向计算即可完成转换，无需为不同分词路径反复调用教师。
教师模型统一采用 Llama 3-8B，学生模型分为 Token、普通字节和带 EOS 的字节三类，每种再细分为监督训练与蒸馏训练，共六组对比。学生模型的 Transformer 层参数量相同（约 12.8 亿），但总参数量因词表不同而有所差异。
在训练过程中，Token 模型初期学习较快，但很快触及平台期；而字节模型起步较慢，却随着训练量的增加展现出持续的改进空间。这说明字节模型在 Scaling 潜力上优于 Token 模型。虽然字节模型在 BPB（每字节损失）上早已超过 Token 模型，但在下游任务上的表现却一度滞后。这是因为 BPB 衡量的是文本预测的准确性，而下游任务关注的是最终答案的正确率，两者并不直接等同。因此，团队没有直接依据 BPB 判定强弱，而是拟合了“训练计算量 → BPB → 下游任务成绩”的链条来预测不同方案的能力上限。
预测结果显示，三种蒸馏方案的准确率上限分别为：Token 蒸馏 48.4%，Marginalize-It 蒸馏 50.5%，End-Of-Token 蒸馏 52.4%。这表明 EOT 比传统 Token 蒸馏高出 4 个百分点，是六种方案中预测上限最高的。值得注意的是，普通字节监督模型的渐近预测准确率为 51.2%，略高于 Marginalize-It 蒸馏。论文认为，这是因为 Marginalize-It 为节省计算而丢弃了部分信息，而 EOT 则能更完整地保留教师分布，从而在各方面都表现优异。
进一步的外推分析显示，EOT 在约 $6.33 times 10^{22}$ FLOPs 的计算量下，即可追平 Token 蒸馏的性能。在存储方面，字节级蒸馏能显著降低数据压力，处理相同文本量仅需 Token 方案的约六分之一；在存储完整分布而非 Top-K 的情况下，存储量也仅为 Token 方案的约五分之一。不过，EOT 在每个 Token 后添加 EOS 标记，导致训练计算量比普通字节模型高出约 30.94%。目前，关于推理成本的公平比较尚未完成。总体而言，这项工作展示了一条小模型训练的新路径：通过将知识从 Token 级别蒸馏到字节级别，利用更小的预测空间和更少的训练文本，有望获得更高的能力上限。虽然 EOT 在实验中表现最佳，但要兑现这一潜力，仍需投入更多的计算资源。
论文作者团队来自华盛顿大学和 Meta FAIR。一作 Kalyani Marathe 是华盛顿大学博士生，师从 Luke Zettlemoyer，研究兴趣包括大模型训练、架构与 Scaling。Artidoro Pagnoni 也是华盛顿大学博士生及 Meta 访问研究员，专注于大模型资源效率与 Scaling，是 BLT 和 QLoRA 的核心作者之一。Tomasz Limisiewicz 是华盛顿大学与 Meta 的博士后，研究聚焦于语言模型的数据、机制及低资源语言。Margaret Li 是华盛顿大学博士生及 Meta FAIR 访问研究员，研究涉及高效训练、可控性与安全。Mike Lewis 是 Meta FAIR 研究科学家，也是 Llama 3 预训练负责人，曾参与 RoBERTa、BART 等多项知名工作。Luke Zettlemoyer 是华盛顿大学教授及 Meta FAIR Seattle 负责人，长期从事 NLP 研究，曾获多项学术荣誉。Srinivasan Iyer 也是 Meta FAIR 研究科学家，研究方向涵盖语言建模、摘要及可解释性。