BERT 里藏着不到 1% 的「AI 文本检测神经元」，换生成器照样能用

看到这篇 arXiv 论文标题我就点进去了，因为 RAID 基准和 sparse probing 这俩词凑一块儿还挺少见。作者干的事其实很直接：拿冻结的 BERT-base-uncased，用 Gurnee 那套 L1-to-L2 稀疏探针协议，把 12 层 × 768 维的 CLS 隐藏状态全扫了一遍，一共 9,216 个维度，看看到底哪些神经元在扛 AI 文本检测这活儿。

先说结论：每个生成器稳定命中的神经元不到 1%，而且这些神经元跨 fold 跨 seed 都稳。更关键的是，只拿这一小撮神经元做探针，检测准确率基本不掉。这说明 BERT 里确实存在一个极稀疏的「检测子网络」，不是靠全体神经元稀里糊涂投票投出来的。

然后是 activation patching 那部分，双向都做了。把选中的神经元激活值往反方向改，预测翻转的频率比随机挑同样数量的神经元高一个数量级。这个差距挺夸张的，随机集基本就是挠痒痒，选中的集直接能把预测打翻。

有意思的是 mean-ablating，把选中的神经元激活值替换成均值，检测准确率几乎不受影响。这跟前面 patching 的结果放一起看就有点矛盾了——你说这些神经元有因果作用吧，抹掉它们又没事。作者的解释是信号是冗余分布的，意思就是同一份信号撒在了多个神经元上，单独干掉一两个不影响大局，但方向性扰动会把整个子网络的输出带偏。

跨生成器分析那块我觉得是全文最有价值的。六个生成器分成两组，instruction-tuned 的那几个，30-36% 的稳定神经元集中在 BERT 最后一层；两个 base 生成器这个比例都不到 14%。这个 layer-12 的分布差异，作者直接归因于 post-training alignment 的痕迹。说白了就是 RLHF 或者 SFT 之后，模型输出风格的变化在 BERT 的最后一层留下了可检测的特征，而 base 模型没有这层东西。

最后那个 leave-one-family-out 的实验我盯了半天。训练时排除一整个生成器家族，再看选出来的神经元在没见过的家族上表现如何。结果保留了全特征上限的 86-94%。这个数字意味着什么？意味着你不需要为每个生成器重新挑神经元，一个固定的稀疏子空间就能覆盖没见过的生成器。对做检测器部署的人来说，这省了重新训练探针的功夫。

有个地方论文没细说但我挺想知道的：他们用的 sparse probing 是线性探针还是带非线性？Gurnee 那套 L1-to-L2 协议本身是线性映射加稀疏约束，但 RAID 里有六个生成器、风格差异极大，线性探针能拿到 86-94% 的保留率，说明这些神经元的表征结构跨生成器有相当强的共性。不过这也可能是 BERT 本身对「机器感」的编码方式就比较统一——毕竟 base-uncased 是 2018 年的架构，它学到的特征空间相对固定。

另外注意到他们管 12 层 × 768 的 CLS 隐藏状态叫「neurons」，严格说这不算生物学意义的神经元，就是维度。但这不影响方法的有效性，sparse probing 本来就是这么玩的。

对做 AI 文本检测的人，这篇的实操意义在于：不用再拿全量 768 维特征去做分类器了。挑出那 1% 的维度，检测性能不降，还能省计算。而且跨生成器的泛化能力有保证，不用每个模型单独调。当然，86-94% 不是 100%，遇到风格特别极端的生成器可能还是需要重新挑一次。

论文编号 arXiv:2609.30287v1，想细看的自己搜。我这算把核心结果都转述完了，剩下的就是去读他们 supplemental 里的实验细节。