用费舍尔信息距离来做神经网络剪枝能比量级剪枝效果更好

这篇 arXiv:2609.16129v1 提出的方案核心在于把参数剪枝看作模型在参数空间中的一次「位移」。简单来说，当你把一个参数设为 0 时，模型实际上是从原点移动到了一个特定的超平面上。作者通过计算费舍尔信息度量（Fisher information metric）下的测地线距离，来衡量这次剪枝带来的真实模型变化。结论很明确：这种基于微分几何距离的剪枝方法，在 MNIST 和 CIFAR-10 数据集上，无论是全连接网络还是 Vision Transformer，在 0% 到 100% 的全剪枝范围内，准确率和马修斯相关系数（MCC）都全面超越了传统的量级剪枝和仅依赖局部费舍尔信息的剪枝。

为什么量级剪枝不是最优的

很多人习惯用量级剪枝（Magnitude Pruning），觉得参数绝对值小就没用。但这篇文章给出了数学上的解释：量级剪枝其实只是这种几何距离的一种最粗糙的近似。

作者建立了一个优化层级，从最简单的量级剪枝开始，逐步引入更精确的测地线距离近似。这意味着，如果你追求更高的性能，就得用更复杂的几何距离计算；如果你追求速度，可以选择那些处于中间地带的近似方案，它们在保持接近最优性能的同时，计算开销更低。

实测结果证明了性能提升

这次实验覆盖了五组随机种子，测试了两种模型架构（全连接网络和 ViT）以及两个标准数据集（MNIST 和 CIFAR-10）。

• 全量程覆盖： 在 0% 到 100% 的剪枝率区间内，新方法始终领先。
• 多维度胜出： 不仅是看 Accuracy（准确率），在衡量分类质量的 Matthews correlation coefficient（马修斯相关系数）上同样表现更好。
• 对比对象： 击败了传统的 Magnitude Pruning 以及传统的 Local Fisher Information 剪枝。

如何在实践中应用这种思路

虽然这是一篇理论性很强的论文，但将其转化为可操作的剪枝逻辑其实就是计算参数对模型输出影响的「几何距离」。如果你想尝试实现，核心逻辑是计算费舍尔信息矩阵，并利用它来衡量参数归零后的距离，而不是简单看绝对值。

由于该方案提供了不同层级的近似方法，你可以根据自己的算力决定用哪个版本。如果算力极其有限，可以用较简单的近似；如果追求极致的模型压缩比且不希望掉点，就得跑完整的测地线距离计算。

这套方法最让人兴奋的地方在于，它不再是靠经验去「试」哪个参数该删，而是给剪枝提供了一个数学上的正当理由和量化标准。