如何通过结构化提示词减少 LLM 在处理长文档时的幻觉问题

长文档处理最怕的就是模型在中间部分开始“神游”，或者把 A 段的结论强行安在 B 段的案例上。我最近对比了 Claude 3.5 Sonnet 和 GPT-4o 在处理 3 万字行业报告时的表现，发现单纯靠“请仔细阅读”这种指令完全没用，必须用结构化提示词强行给模型建立索引。

实测发现，当文档长度超过 10k token，模型容易出现位置偏差（Lost in the Middle）。如果直接问“文中关于 XX 的观点是什么”，GPT-4o 有概率会把相似但不准确的描述拼凑在一起，产生幻觉。而 Claude 3.5 对上下文的把控更稳，但如果提示词太随意，它也会在细节上打折扣。

解决幻觉最有效的方案是：强制模型在输出答案前，先进行原文定位（Anchor Retrieval）。

我目前在用的结构化框架大致是这样：

# Role: 高精度文档分析专家

# Constraints:
- 必须在回答前标注出参考原文的【段落编号】或【原句引用】。
- 如果文中未提及，必须直接回答“原文未提及”，严禁基于常识推断。
- 答案必须且只能来源于提供的文本。

# Workflow:
1. 扫描全文，定位与问题相关的所有片段。
2. 提取片段原话，并验证其逻辑关系。
3. 基于提取的片段，用简洁的语言汇总答案。

# Output Format:
- 定位证据：[引用原文]
- 最终结论：[结论内容]

对比测试结果：
直接提问 → GPT-4o 出现 2 处细节性幻觉（将日期记错），Claude 3.5 表现尚可，但答案过于笼统。
结构化指令 → 两个模型在事实准确率上都提升到了 95% 以上。因为强制要求输出“定位证据”，相当于给模型加了一个自我校验机制，它在写出引用句时会意识到结论是否背离原文。

具体能力差异：
Claude 3.5 Sonnet：在处理复杂逻辑推导时更强，它能更好地理解长文档中跨段落的隐喻或潜在关联，幻觉率在结构化引导下最低。
GPT-4o：响应速度快，但在处理极长文本的细节抓取时，偶尔还是会跳行，需要更严苛的 Constraints 约束。
DeepSeek-V2：在中文长文本的语义对齐上很惊喜，但面对极其繁琐的结构化指令时，偶尔会忽略掉其中一项约束（比如忘了标段落号）。

结论是，处理长文档不能把 LLM 当成百科全书，而要把它当成一个“拿着放大镜的速读员”。通过强制要求【引用 → 结论】的结构，可以把幻觉概率压到最低。