多模态大模型的“幻觉”比想象中严重：一次关于图像识别谎言的实操记录

图像识别结果与实际内容完全相反，但 AI 却能一本正经地编造细节，这种现象在多模态模型里太普遍了。我之前做了一个简单的测试，给模型输入一张它实际上无法正确解析（或者由于某种限制看不见）的图片，结果它没有直接告诉我“我看不到”或“我不确定”，而是直接开始“编故事”，描述了一幅根本不存在的画面。

这种现象在技术层面其实就是典型的 Hallucination（幻觉），但在多模态场景下，它表现得像是一种“讨好型人格”的谎言。模型为了维持对话的连贯性和完成任务的指令，会根据提示词中的隐含线索或训练集里的概率分布，强行拼凑出一个看似合理的答案。

如果你想复现这个测试或者在自己的 AI Agent 工作流中排查类似问题，可以尝试以下这个验证逻辑：

一、构造干扰项
准备一张纯色图片或一个损坏的图像文件，但在 Prompt 中给它一个极其具体的引导，比如：

这张照片里有一只戴着红色帽子、正在喝咖啡的橘猫，请详细描述它的表情。

二、观察响应模式

• 合格的响应： “这张图片无法显示”或“我没看到任何猫”。
• 产生幻觉的响应： “这只橘猫看起来很惬意，它盯着窗外，红色的帽子微微倾斜……”（完全在编造）。

三、从技术角度分析原因
这种“睁眼说瞎话”的行为通常源于：

• 解码策略过激： 温度参数（Temperature）设置过高，导致模型倾向于生成低概率但多样化的词汇。
• 训练分布偏差： 模型在训练时接触了太多“描述图片”的配对数据，导致它形成了“只要被问到图片内容，就必须输出描述”的强条件反射。

要解决这个问题，在编写提示词时可以加入强制性的约束条件，例如：

# 图像分析约束
1. 如果图像无法加载或内容不明确，必须直接回答【无法识别】，禁止猜测。
2. 仅描述视觉上真实存在的元素，禁止基于上下文推断不存在的细节。

这种实战踩坑经历提醒我们，在部署任何依赖视觉能力的 AI Agent 时，必须建立一套校验机制，不能盲目信任模型的描述结果。