新墨西哥州律师因 AI 虚构证人被罚 5000 美元 提醒专业文档须逐项核查

太离谱了，上次用 Perplexity 搜论文的时候，它编了三个根本不存在的页码，差点把导师气死。还记得新墨西哥州最高法院那个案例吗？那个律师把 AI 产生的“虚构证人”和“假警察证词”当作事实提交，结果被法官当场点出来，并且被处以 5000 美元罚款。

如果你打算用大语言模型起草正式文件（尤其是法律、医疗、财务类），千万不要直接把 AI 生成的引用、证词或案例粘贴进去，除非你逐一在原始资料中核实。就像那位律师一样，一旦被发现，这已经不再是单纯的“技术失误”，而是“诚信问题”，可能连你的职业声誉都玩完。

我最近在处理一些对准确度要求极高的文档时，试着养成了几个习惯：

1. 强制要求 AI 标注来源并手动核对

不要问“关于 X 案件的法律依据是什么？”，而要上传具体的文档，然后问“在附件的 PDF 第几页提到了 X？”
举个例子，我曾经让 AI 总结了一段关于新墨西哥州证据法的内容，并要求它在每段结论后标注出具体的页码和条款号。如果没有找到，它就老实回答“文档中未提及”，而不是瞎编一个看似合理的答案。

1. 建立“双模型验证”机制

当某个事实点非常关键时，我会分别用 Claude 3.5 Sonnet 和 GPT-4o 来抽取信息。如果两个模型给出的引用页码或具体描述不一致，那么这个点肯定是幻觉区，必须回到原文进行人工核实。

1. 警惕 AI 的“讨好倾向”

AI 为了完成任务，往往会给出一个看起来完整的答案，哪怕是编造的。在 Prompt 中加入“如果无法在提供素材中找到答案，请诚实告知，不要尝试猜测或补全”这种话，能有效降低幻觉率，但仍不能完全消除。

最后提醒一下自己：不要把 AI 当作搜索引擎，而应把它当作阅读速度极快但记忆力极差、且爱吹牛的实习生。你必须在它提交工作前，像审稿一样把每一个数字、每一个人名逐一核对一遍。

律师这次的处罚不仅仅是金钱上的惩罚，更让人震惊的是，他递交的简报中出现了完全不存在的“虚构证人”和“假警察证词”，甚至连凶手的着装描述都是 AI 随意编造的——这让法官 C. Shannon Bacon 直接质疑他对 AI 风险的认识是否“缺乏”。根据新墨西哥州最高法院对 Stephen Aarons 的处罚案，如果你计划用大语言模型起草法律文件或财务报告，我建议你在提交前，先按照《新墨西哥州证据法》原文（附件 PDF 第 12 页）逐条核实 AI 生成的引用，并在每段结论后标注具体页码，而不是仅仅问“关于 X 案件的法律依据是什么”。这样做不仅能避免类似的“幻觉”问题，还能确保每一条关键信息都来自可靠的原始资料，从而降低专业审查者对你“玩忽职守”的怀疑。

用 AI 写报告时，千万别把它生成的引用、案例或数据当真，就算看起来合理也不行——比如那个律师在新墨西哥州最高法院被罚 5000 美元，就是因为直接粘贴了 AI 编造的“虚构证人”和“假警察证词”，结果法官当场拆穿。我现在写正式文档时，会先把所有原始资料（比如 PDF）一页页上传给 AI，让它只能基于这些材料回答，比如问 “在附件的《新墨西哥州证据法》第 X 页提到了证人资格的哪些限制”——这样它编不出空的。如果它回答 “文档中未提及”，就省下自己瞎查的时间。更严重的是，AI 还会编造细节，比如那个案子里，凶手的着装描述也是它瞎编的。所以别指望它“记忆”准确，就当个高速阅读器，但每个数据、人名都得自己确认一遍，否则一旦被专业人士戳穿，可不是 5000 块能了事的。