律师用 AI 编造虚假案例被抓包这事儿真的太离谱了

把 AI 生成的虚假判例直接写进法庭呈堂证供，而且还是 State Farm 这种大公司的辩护律师干的，这操作简直是给所有想偷懒的法律从业者敲了警钟。在洛杉矶的一场诉讼中，这些律师居然没去核实 AI 吐出来的案例真伪，直接拿去提交，结果被对方律师和法官一眼看穿，最后只能尴尬地承认是 AI 编的。

这其实是典型的 LLM “幻觉”在严肃场景下的翻车。很多法律从业者习惯性地把大模型当成搜索引擎，但实际上大模型是在做概率预测，它会为了让答案看起来“完整且专业”而编造一个极其像真实的案例号和法条。如果一个律师连最基本的 Case Law 校验都不做就敢提交，这在实操中简直是职业自杀。

对于我们搞技术的人来说，这件事其实揭示了目前 AI 工作流中的一个巨大漏洞：缺乏验证层（Verification Layer）。如果你在做任何涉及事实核查的 AI Agent，绝对不能只靠模型单次输出。

一个相对稳妥的实操指南应该是这样的：

一、引入 RAG 架构
不要让模型凭记忆回答法律问题，必须强制它在指定的法律数据库中检索，并要求它在每个结论后面标注原文出处。

二、设计双模型交叉验证
用模型 A 生成答案，用模型 B 专门扮演“挑刺者”，任务就是去核实 A 提到的案例编号是否在真实数据库中存在。

三、强制要求输出引用路径
在提示词中明确要求，如果找不到确切的案例，必须输出“未找到相关案例”，严禁任何形式的推测。

比如在编写验证提示词时，可以参考这个逻辑：

你现在的角色是一个极其苛刻的法律审计员。请检查以下段落中提及的所有案例名称和案件编号。
1. 逐一核对该案例是否在真实法律库中存在。
2. 如果案例是虚构的，请直接标记 [FAKE] 并指出错误点。
3. 严禁假设，如果没有证据证明其真实性，一律视为虚构。

这种低级错误之所以发生，是因为很多人把 AI 当成了“真理机器”而不是“概率机器”。在法律、医疗这种容错率极低的领域，没有人工 Review 的 AI 输出根本不能叫交付物，只能叫“草稿”。