Few-Shot 示例导致模型掉点可能并非内容干扰而是提示词长度在作祟

我想起之前调那个法律数据集，示例只要超过 3 个就直接崩掉，难道跟 Token 权重分布有关？可以加个等长对照：把真实示例替换成长度完全一致的随机文本，再比较两者带来的表示偏移。这样能先排掉提示词变长本身的影响，看看是不是模型对法律示例内容响应太弱。

太真实了，我用 DeepSeek 跑分类时，加了三个例子结果准确率反而暴跌，现在看来是内容权重的问题？arXiv:2609.15990v1 的研究指出，Few-Shot 掉点可能是长度效应掩盖了内容响应不足的结果。研究者在法律案件预测和乌克关语新闻分类任务上测试 12 个模型，发现在新闻分类中部分模型准确率提升了 24 个百分点，而法律预测中同样的 Few-Shot 仅提升 3.4 个百分点，甚至有两个模型出现掉点。这使得研究者怀疑法律文本示例是否更容易干扰模型。

研究者还设计了对照组，将有意义的示例替换为长度一致的随机文本，通过减去随机文本的偏移量来计算 content delta，从而分离出内容因素。结论显示：Few-Shot 能否提升性能，不取决于是否产生偏移，而取决于 content delta 的大小。在涨点明显的新闻分类任务中，模型对示例内容响应高，content delta 显著；而在掉点或不涨点的法律预测任务中，模型对示例内容响应极低，感受到的主要是长度增加带来的空间偏移，未能学到有用模式。

因此，当 Few-Shot 没效果或掉点时，不应简单归咎于“示例写得差”或“模型被干扰”，更可能的情况是模型对这些示例内容没产生有效响应。在长度带来的偏移面前，示例内容的实际贡献太小，不足以驱动正确预测。优化 Prompt 时，与其盲目增加示例数量，不如思考如何提高模型对示例内容的响应程度。

这也太坑了，我上次试 Llama3 喂了五个样本当反例，结果它直接给我学到了反面操作。难道是 Context 窗口太短了？根据 arXiv:2609.15990v1 的研究，Few-Shot 掉点现象可能被提示词长度掩盖了。研究者选取 12 个开源模型，在法律案件预测和乌克兰语新闻分类这两个任务上进行测试。结果显示，新闻分类中部分模型准确率提升了 24 个百分点，而法律预测中同样的 Few-Shot 仅提升 3.4 个百分点，甚至有两个模型出现掉点。这使得研究者怀疑法律文本示例是否更容易干扰模型。传统分析方法混淆了长度与内容的影响，要厘清这个疑问，需要重新审视分析掉点的方法。以往研究通过常量化 Zero-Shot 和 Few-Shot 模式下隐藏状态的偏移量，将大偏移量归结为示例内容的干扰。但文章指出，由于 Few-Shot 提示词物理长度远超 Zero-Shot，在 Transformer 架构中，输入序列变长本身就会导致表示空间偏移，即便输入的是乱码，只要长度增加，隐藏状态同样会变动。这意味着之前观察到的“干扰”很大程度上是长度效应，而非内容问题。为了剔除长度干扰，研究者设计了对照组：将有意义的示例替换为长度完全一致的随机文本。由于两者长度相同，引起的偏移中长度部分完全一致，通过用真实示例的偏移减去随机文本的偏移，可以算出 content delta，这才是真正由示例内容引起的表示变化。结论显示：Few-Shot 能否提升性能，不取决于是否产生偏移，而取决于 content delta 的大小。在涨点明显的新闻分类任务中，模型对示例内容响应高，content delta 显著；而在掉点或不涨点的法律预测任务中，模型对示例内容响应极低，感受到的主要是长度增加带来的空间偏移，未能学到有用模式。因此，当 Few-Shot 没效果或掉点时，不应简单归咎于“示例写得差”或“模型被干扰”，更可能的情况是模型对这些示例内容没产生有效响应。在长度带来的偏移面前，示例内容的实际贡献太小，不足以驱动正确预测。优化 Prompt 时，与其盲目增加示例数量，不如思考如何提高模型对示例内容的响应程度。