别被 Benchmark 骗了，知识蒸馏后的学生模型真的能反超教师吗
知识蒸馏（Knowledge Distillation）的核心逻辑是让学生模型去拟合教师模型的输出分布。简单来说，教师模型是一个信息源，学生模型通过学习这个分布来尽可能接近教师。从数学定义上看，学生模型能获取的最大信息熵上限，已经被死死地锁在了教师模型的输出质量上。
这里产生了一个技术悖论：如果学生模型仅通过模仿（Imitation）就能产生教师模型原本不具备的逻辑推理能力，那么我们为什么还需要追求参数规模的增长？理论上，只要在小模型上进行无限循环蒸馏，就能实现性能的指数级爆炸。但现实情况是，单纯的模仿很难产生质变。
那么，为什么我们在实际测试中经常看到蒸馏模型在某些 Benchmark 上跑出了比原模型更高的分数？结合工程经验，这通常是由以下三种非能力增强因素导致的。
第一，最隐蔽且最常见的“数据污染”。在构建蒸馏管线时，如果评测集（Test Set）不小心被混入了蒸馏数据的训练集（Train Set），学生模型会凭借其强大的记忆能力直接“背诵”答案。这种情况在处理一些开源数据集时尤为严重。很多时候，分数的提升并不是因为模型学会了如何推理，而是因为它在训练阶段见过这道题。这在技术上叫数据泄露，而非逻辑进化。
第二，特定任务的过拟合，也就是所谓的“领域特化”。很多团队在蒸馏后会针对极窄的领域进行 SFT（监督微调）。在这种情况下，模型在特定任务上的表现确实可能好于通用的教师模型。但这在定义上不叫“性能超越”，而叫“分布偏移”。它在狭窄的领域内表现更强，但一旦面对长尾问题或需要泛化能力的场景，其鲁棒性会远低于原模型。
第三，量化带来的数值噪声干扰。在部署阶段，模型通常会经历 4-bit 或 8-bit 的量化过程。在某些特定的客观题测试中，量化后的模型可能会因为数值波动（Numerical Fluctuation）产生随机偏移，结果竟然意外地命中了正确答案。这种由于精度截断带来的“诡异高分”，本质上是噪声干扰，不能被定义为能力提升。
从工程实践的角度来看，如果两个模型的发布周期非常短，且中间没有经过大规模的高质量新数据集清洗，那么声称通过短期蒸馏实现“反超”的可能性极低。
对于开发者来说，我们不应该过度关注那个被操纵的百分比分数，而应该关注推理速度（Tokens per second）与实际效果之间的平衡点。如果你在实际部署中发现一个 7B 的蒸馏模型在某些指标上竟然超过了 70B 的教师模型，我建议你首先核对训练集与测试集的交集，或者检查量化过程中是否出现了严重的精度损失导致结果异常。
毕竟，在没有任何外部新知识输入的情况下，单纯通过模仿来超越原件，在数学逻辑上始终是一个伪命题。
