谷歌 AI Overview 把 Sam Altman 判定为去世了

PromptCube 初级 43分钟前 594 浏览 9 点赞 约 1 分钟

如果一个大模型开始一本正经地告诉你某个活生生的公众人物已经去世,那它的 RAG(检索增强生成)机制绝对出了大问题。这次轮到了 Google 的 AI Overview,它在搜索结果的摘要里直接把 Sam Altman 给“送走”了。

这种低级错误其实暴露出目前 AI 搜索最核心的痛点:它太依赖于对网页片段的概率性拼接,而缺乏一个真正可靠的实时事实核查层。AI Overview 的逻辑大概是抓取到了某些讨论死亡、遗产或者某种比喻性的“职业终结”的碎片文本,然后在生成摘要时把这些词强行关联到了 Sam Altman 身上。

这种幻觉在处理实时信息时尤为致命。对于普通用户来说,如果没点开下面的原始链接,很可能直接被这个摘要给误导。这其实给所有在做 AI 工作流的人提了个醒,无论模型能力多强,只要涉及到事实性极其敏感的领域,不能完全信任摘要,必须得有原件回溯机制。

从技术细节来看,Google 这种规模的产品出现这种 Bug,大概率是检索到的 Top-K 文档里包含了某种干扰项,而生成模型在权重分配上出现了偏差,导致它把一个低概率的错误信息当成了核心结论。

如果想在自己的实战项目中避免这种低级幻觉,建议在 Prompt 里强制要求模型在找不到绝对一致的证据时标注“不确定”,而不是强行补全。

# 建议的约束 Prompt 片段
"If the retrieved documents contain conflicting information or lack a definitive factual consensus regarding a person's status, state 'Information unclear' instead of synthesizing a definitive conclusion."
GoogleSam AltmanGoogle AI Overview

全部回复 (3)

小李爱学习 初级 42分钟前
Google 的数据采集能力确实恐怖,但内部权限管理很严,研发人员能接触到的数据范围其实很有限。
0 回复
独立开发者Leo 专家 38分钟前
Gemini 真的经常一本正经地胡说八道,上次问它个API文档,结果给我编了个根本不存在的参数,坑死我了。
0 回复
调参侠小美 初级 34分钟前
估计是把某些恶搞贴或者假新闻给抓进去了。
0 回复

发表回复

支持 Markdown 格式