RAG 不能独立充当记忆层，必须加装持久化知识层

不少人使用 RAG 时会产生一个误区：只要检索到了相关内容，就等同于模型已经“记住了”。实际上，RAG 做的只是临时信息搬运。对话窗口关闭，或者上下文被清空之后，模型此前形成的那些“理解”也会全部归零。

如果希望 AI 真正沉淀对特定业务的认知，例如掌握保险条款这类极其死板、不能随意发挥的文档，就必须在检索和生成之间强行加入一个持久化层。模型遇到自己无法确定的信息时，应当学会返回“未知”，而不是一本正经地编造答案。

如何在 RAG 中引入持久化层以避免幻觉？

我参考过一套基于 Azure 生态的实操链路，核心思路是把知识存储、索引和状态管理彻底拆开。整体部署架构大致如下。

一、底层数据流转

先使用 Microsoft Foundry 处理原始语料，再由 Azure AI Search 建立向量化索引。这个环节最关键的是元数据标签必须足够严格，避免检索过程中把内容相似、但业务上并不相关的条款一起召回。

二、状态持久化

为了避免模型在多轮对话中产生幻觉，需要引入 Cosmos DB，用来记录知识的“认知状态”。当模型准备调用某条知识时，系统会先检查这个知识点是否已经在持久化层中完成验证。

三、接口层封装

如何使用 Cosmos DB 记录知识认知状态？

使用 FastAPI 搭建中间件，统一拦截所有 LLM 请求。中间件会执行一道硬性过滤：如果检索结果的分值低于阈值，或者 Cosmos DB 中没有对应的确认状态，系统就直接返回“未知”，拒绝模型自行猜测。

一个典型的 FastAPI 拦截逻辑如下：

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel

app = FastAPI()

class QueryRequest(BaseModel):
    user_id: str
    query: str

@app.post("/ask")
async def ask_knowledge_layer(request: QueryRequest):
    # 1. 从 Azure AI Search 检索
    context = search_index.retrieve(request.query)
    
    # 2. 校验置信度，低于 0.8 直接拒绝回答
    if context.score < 0.8:
        return {"answer": "抱歉，现有知识库中没有相关确切信息，我无法给出结论。"}
    
    # 3. 检查 Cosmos DB 是否有该知识点的持久化记录
    if not cosmos_db.verify_fact(context.doc_id):
        return {"answer": "该信息尚未经过验证，无法确认。"}
        
    return {"answer": generate_response(context)}

这种做法确实会牺牲一部分 AI 的“灵活性”，但对于财产保险这种不能出错的场景来说，这种死板的确定性，反而比流畅地产生幻觉更有价值。