AI幻觉导致申请被拒：英国内政部在难民审核中误用AI信息的反思

AI生成的虚假事实如果被直接采信，后果可能比写错一段代码严重得多。最近有个案例挺让人警醒的，英国内政部（Home Office）在处理一项寻求庇护的申请时，竟然因为AI产生的“幻觉”信息而拒绝了申请，结果被法官给判定为错误。

这其实揭示了一个目前很多企业在部署AI Agent或自动化工作流时最容易忽略的坑：过度信任大模型的总结能力而缺失了关键的“事实核查”环节。在这种严肃的行政决策场景下，AI把不存在的细节编造成事实，直接决定了一个人的命运，这已经不是简单的“效率提升”，而是严重的程序失误。

从技术实现角度看，这种情况通常发生在直接使用通用大模型进行文档分析或信息检索时，模型为了维持对话的流畅度，在找不到确切答案时会倾向于“一本正经地胡说八道”。如果想在实战中规避这种问题，尤其是处理法律、医疗等高容错率要求的工作流，必须强制执行 RAG（检索增强生成）并加上严格的引用校验。

建议在构建类似审核系统时，采用以下逻辑来约束模型：

一、 强制要求引用来源
在提示词中明确要求模型每一句结论必须对应原文的页码或段落，不能出现无出处的推断。

## System Prompt 约束示例
You are a strict document analyst. For every claim you make, you MUST provide a direct quote from the source text and its exact location (page/paragraph). If the information is not explicitly stated in the provided text, you must respond with "Information not found" instead of inferring.

二、 引入验证环节（Cross-Verification）
不要让一个模型完成所有工作。可以用一个模型提取事实，另一个模型专门负责对比提取结果与原文是否一致，形成闭环校验。

三、 设定置信度阈值
在API调用时，通过分析 Logprobs 或设置较低的 Temperature（建议设为 0 或 0.1），尽可能压制模型的随机性，减少幻觉发生的概率。

这种案例给所有在做 AI Agent 落地的人敲了警钟：AI 只能作为辅助决策的工具，绝对不能成为最终裁决的唯一依据。