摆脱语义漂移：BGE-M3 向量与 BM25 混合检索的权重调优实战

在构建检索系统时，往往会因为对向量检索的盲目信任而陷入误区。面对专业领域的文档库，单纯依赖向量相似度容易出现“语义漂移”：比如查询具体的产品型号时，向量模型会把包含相似概念的文档误认为相关，而忽略了准确的型号匹配。为此，引入基于关键词的 BM25 并形成混合检索成为必然选择。

向量与关键词的特性对比

BGE-M3 向量检索

• 能够捕获长句的语义，并且跨语言表现良好。
• 对短词、专有名词的敏感度不及 BM25，常导致召回率高而精确率波动。

BM25 关键词检索

• 关键字匹配即命中，精度极高。
• 对同义词缺乏识别，查询词的微调可能导致漏检。

混合检索的实现思路

在实际调优过程中，采用 RRF（Reciprocal Rank Fusion）而非直接线性加权能够更好地平衡两者的分数分布。实验表明，当向量权重设为 0.7、BM25 为 0.3 时，长句查询的准确率提升约 15%，并且专有名词的遗漏问题得到显著缓解。若 alpha 落在 0.6~0.8 区间且两类分数已完成归一化，则应继续使用 RRF；一旦归一化失败或 alpha 超出该范围，则需回退至传统加权方式。

def hybrid_score(vector_score, bm25_score, alpha=0.7):
    # alpha 为向量检索权重，1-alpha 为 BM25 权重
    # 注意：两者的分数分布完全不同，必须先进行归一化处理
    norm_vector = normalize(vector_score)
    norm_bm25 = normalize(bm25_score)
    return (alpha * norm_vector) + ((1 - alpha) * norm_bm25)

BGE-M3 的 Sparse 模式与 BM25 的比较

虽然 BGE-M3 支持 Dense、Sparse、ColBERT 三种向量化方式，但在极短关键词匹配场景下，Sparse 向量仍难以撼动 BM25 的优势。生产环境中，最稳妥且算力要求最低的组合仍然是 BGE-M3（Dense）+ BM25。

额外的实现细节

• 该 model operates entirely on the client side, avoiding any transmission to external servers.
• 虽然检索结果并非完美，但已足够满足多数实际使用场景。
• 本项目的灵感来源于一次对广泛议题的笔记整理，当时并不确定已有的思考是否被覆盖。
• 最初的实现基于 Python，后来出于在浏览器中运行的兴趣，转向了前端实现。
• 前端代码使用了 @xenova/transformers（Transformers JS）和 onnxruntime-web，加载的 BGE-M3 模型在 8 位量化后大小约为 570 MB。
• 完整的源码与实现细节可在 webgpu-embed-demo 的 GitHub 仓库中查阅。
• 示例界面提供了 Process Bulk Input Load demo Add item Reset Similar Items Items 等交互模块，方便批量加载并对比相似文档。
• 参考的相似度度量包括 "name":"Pearson Cosine" 与 "type":"spearman_cosine" 等 JSON 结构，用于评估向量与关键词的匹配程度。