神经网络的“超叠加”现象：模型是怎么在有限神经元里塞更多信息的？

这个研究视角挺有意思的。简单来说，就是模型在面对资源（神经元数量）不足以覆盖所有特征时，不会直接放弃，而是通过一种类似“压缩”的技巧，把多个特征挤在同一个维度里。

我觉得这解释了为什么模型在小样本时容易过拟合（因为在死记硬背），而规模一旦上去，这种机制反而成了它捕捉复杂模式的利器。这其实揭示了模型的一种“生存本能”：在有限的参数空间里尽可能榨干每一比特的表达能力。这也给我们一个启示，参数量虽然重要，但模型如何高效利用这些参数才是决定泛化能力的底层逻辑。