LangChain 结合本地向量数据库实现企业知识库 RAG 的性能优化实践

直接把企业文档全量塞进向量库，检索出来的结果往往像在抽奖，这就是典型的「检索噪声」问题。我在给公司搭建内部知识库时，发现单纯依赖 LangChain 的 VectorStoreRetriever 效果极差，关键在于语义向量的模糊性导致召回的内容不仅不精准，还经常把无关的片段排在前面。

为了解决这个问题，我弃用了简单的 Top-K 检索，改用 「混合检索 (Hybrid Search) + 重排序 (Rerank)」 的方案。

首先，本地向量数据库我选了 ChromaDB。为了提升检索精度，我引入了 BGE-Reranker 模型。核心逻辑是：先用向量检索粗筛出 20 个候选片段，再用 Reranker 对这 20 个片段进行二次打分，只把得分最高的 3-5 个交给 LLM。

具体的检索链路配置如下：

from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import HuggingFaceEmbeddings
from sentence_transformers import CrossEncoder

# 初始化向量库
embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5")
vectorstore = Chroma(persist_directory="./db", embedding_function=embeddings)

# 初始化 Reranker (本地加载模型)
reranker = CrossEncoder('BAAI/bge-reranker-base')

def hybrid_retrieve(query, k=3):
    # 1. 粗筛：检索 20 个相关文档
    initial_docs = vectorstore.similarity_search(query, k=20)
    
    # 2. 精筛：对候选文档进行重打分
    doc_texts = [doc.page_content for doc in initial_docs]
    scores = reranker.predict([(query, text) for text in doc_texts])
    
    # 3. 排序并截断
    sorted_idx = scores.argsort()[::-1]
    return [initial_docs[i] for i in sorted_idx[:k]]

在配置技巧上，我踩过最大的坑是 Chunk Size (分块大小)。一开始设为 500 字符，结果很多上下文被截断，导致 AI 回答得支离破碎。后来我采用了 「父文档检索 (Parent Document Retriever)」 策略：将文档切成 100 字符的小块（Child Chunk）用于检索，但一旦命中，则将该小块所属的 1000 字符大块（Parent Chunk）喂给 LLM。这样既保证了检索的灵敏度，又保证了生成内容的完整性。

效率提升最明显的操作是给向量库加了 Metadata Filter (元数据过滤)。比如在检索时，强制限定 {"department": "HR"}，直接过滤掉 80% 的无关数据，检索速度快了近 3 倍，且准确率大幅提升。

如果你们的知识库文档更新频繁，记得给 ChromaDB 开启持久化存储，并定期清理过时的索引，否则随着数据量增加，本地内存占用会飙升，导致检索延迟明显增加。