别再盯着上下文窗口那点数字自我感动了，检索精度才是命门

上下文窗口卷到 128K 甚至更高，搞得现在一堆人觉得 RAG 里的检索精度可以随便应付了（觉得反正大模型能读完）。我之前也犯过这种蠢，以为把一堆文档全塞进去，模型自然能从废话里拎出重点，结果实际跑起来才发现，窗口越大坑可能越深。这就好比你想查公司当初为什么放弃微服务架构，检索系统把一堆无关痛痒的 Jira 记录、Slack 聊天碎片全给你喂给模型，看起来逻辑挺通顺，但真正写决策逻辑的那份核心 ADR 文档，可能因为关键词匹配没那么“显眼”就被埋在垃圾堆里了。这时候模型最擅长的就是“一本正经地胡说八道”，它会把那些碎片信息强行整合，拼凑出一个听起来逻辑自洽、实则离事实十万八千里的答案（这种“看似连贯，实则不忠实”的幻觉最恶心人）。大家都在聊 Lost in the Middle 现象，但我认为问题的本质根本不在于模型能不能读完，而在于检索阶段分不清“讨论这个话题的文档”和“真正回答问题的文档”。如果你连筛选环节都做不好，增加再大的上下文也只是给模型提供了更多用来“平均化”错误答案的素材而已。所以别再盯着 Prompt 能塞多少 Token 这种表面功夫了，与其在填充上浪费时间，不如去死磕怎么把那份真正有用的文档精准地捞出来。