评估 RAG 系统时，别把平均分当成真实表现

在做 RAG 系统评估时，如果 Faithfulness 指标卡在 0.75 左右，很多人会习惯性地通过优化 Prompt 来试图抹平那点“幻觉”。我之前也陷入过这种思维定式，在 Prompt 上反复拉锯一周，结果分数毫无波动。直到我重新拉出原始数据进行分布校验，才发现之前的评估逻辑存在根本性偏差。

通过直方图可以看到，数据的分布呈现出一种诡异的双峰特征：一部分样本的得分接近 1.0，表现极其稳定；而另一部分样本的得分直接跌落至 0 附近。所谓的 0.75 平均值，实际上是处于两个极端分布之间的“真空地带”，在实际样本中根本不存在这个分值。

这种现象在 LLM 评估中并不罕见。对于 Faithfulness 或准确率这类具有非连续性质的指标，模型表现往往呈现出“要么完全正确，要么彻底胡说”的二元化特征。如果你只关注 Mean 值，你无法判断模型是偶尔产生漂移，还是在处理特定类型数据时发生了系统性溃败。

作为技术负责人，我建议在建立评估机制时，必须引入分位数（Percentiles）和分布图（Histogram）的监控。如果发现分布异常，问题的根源往往不在 Prompt 层面，而可能在于检索环节（Retrieval）引入了错误上下文。盯着汇总数字看是没用的，必须深入到分布细节中去识别风险。