Google AI 概览误报 Sam Altman 去世，暴露 RAG 核查的致命漏洞

近日，在追踪 OpenAI 动态时，我通过 Google 搜索发现 AI 概览（AI Overviews）在顶部位置直接断言 Sam Altman 已去世。这让我立刻怀疑是否遗漏了重大消息，但核实后发现这是典型的 AI 幻觉（Hallucination），与实际情况严重偏离。

误报的核心问题在于 Google 的 AI 概览在信息聚合时，并未识别出源数据中的语境。根据 RAG（检索增强生成）架构的技术文档，检索阶段（Retrieval）通常会从多个源文档中提取片段，但当这些片段来自非权威论坛或社交媒体讨论时，模型可能将比喻性或非严肃表达（如“Sam is dead”作为讽刺或技术讨论中的隐喻）误解为事实。Google 的模型在权重分配时，没有对源数据的语境进行足够的过滤，导致误导性结论被放大并呈现在搜索结果的最显眼位置。

进一步测试时，我尝试通过不同的 Prompt 追问 AI 关于 Sam Altman 去世的“证据”，例如“提供具体的新闻来源”或“请列出支持该结论的权威链接”。然而，AI 的回应始终无法提供可信的第三方验证，而是通过模糊的表述（如“部分社交平台讨论”或“相关论坛观点”）来规避具体核实。这种行为在 LLM 中属于常见的“自洽性生成”（Coherent Generation Without Verification），但在搜索引擎的摘要功能中，其风险被放大，因为用户通常不会进一步点击原始链接。

从技术层面看，RAG 系统的致命漏洞出现在检索阶段（Retrieval）和重排阶段（Reranking）的界面。根据 RAG 文档，当检索器（Retriever）从海量数据中筛选片段时，如果未引入领域知识过滤或信源可信度评估，高相关性但不准确的片段（如社交媒体的戏言）就会被误判为“权威信息”。随后，生成模型（LLM）在缺乏上下文修正的情况下，将这些片段转化为确定性陈述，进一步放大误导性。

这提醒我们，在构建 RAG 系统时，必须在检索阶段（Retrieval）加入“信源可信度打分”（Source Credibility Scoring）和“语境过滤”（Contextual Filtering），而非仅依赖生成阶段（Generation）的概率预测。否则，AI 概览的误导性将在用户体验中积累，导致信任度崩溃。

对于 Google 而言，优化 AI 概览的关键在于：

1. 引入实时事实核查机制，特别针对公众人物、金融事件等高敏感词汇。
2. 在检索阶段（Retrieval）加权非权威源的权重，避免社交媒体或论坛的戏言被误解为“新闻”。
3. 明确标注 AI 概览的“参考性质”，提示用户必须查看原始链接进行验证。

若无法在技术层面解决上述问题，AI 概览的误导性将成为其难以跨越的鸿沟。