蒸馏模型能反超原模型？这逻辑存疑

知识蒸馏（Distillation）本质上是学生模型在模仿教师模型的输出分布，从信息论的角度看，学生模型能学到的上限就是教师模型。如果有人主张蒸馏后的模型在各项指标上全面超越原模型，这在技术逻辑上很难自洽。

我之前在复盘几个大模型部署方案时也思考过这个问题，除非发生了以下几种情况，否则“反超”基本是伪命题：

• 训练数据的污染： 评测集在蒸馏数据的训练集中出现了，导致分数虚高。
• 特定任务的过拟合： 蒸馏模型在极窄的领域通过精调表现更好，但这不叫“性能超越”，而是“领域特化”。
• 量化带来的副作用： 某些低比特量化后的模型在特定 Benchmark 上因为数值波动出现诡异的高分，但这属于噪声而非能力提升。

尤其是看一些发布周期，如果两个模型发布时间极短，根本没时间进行大规模的高质量蒸馏。

对于开发者来说，追求的是实操中的推理速度和效果的平衡。如果真的能通过简单的蒸馏就让小模型在逻辑推理上强于原大模型，那我们根本不需要追求参数规模的增长，直接在小模型上无限循环蒸馏就好了。