用 Dify 搭建自动化竞品分析流：如何解决长文本截断与信息丢失问题

直接把 5 万字的竞品调研报告扔给 LLM，大概率会触发 Token 限制导致结尾被截断，或者出现严重的“中间丢失”现象（Lost in the Middle），导致生成的分析摘要漏掉关键的定价策略或技术短板。

我在 Dify 里搭建这套分析流时，最有效的方案是弃用简单的“知识库检索”，改用「分段清洗 → 递归汇总 → 最终对比」的 Pipeline 架构。

核心配置链路如下：

1. 预处理节点：分块清洗
不要依赖 Dify 默认的自动分段。我先用一个 Python 节点对抓取到的 HTML 或 PDF 文本进行正则清洗，去掉冗余的导航栏和页脚，然后按照 2000 字一个物理块进行强制切分。

2. 递归汇总节点（关键步骤）
这里不能直接把所有块交给一个 LLM 节点，而是建立一个迭代循环。每个分块先通过一个 LLM 节点提取「核心观点」和「关键数据」，输出格式严格限定为：

- 核心能力：xxx
- 价格区间：xxx
- 核心痛点：xxx

这样把长文本压缩成高密度的结构化摘要，把 Token 占用降低 90%。

3. 最终聚合分析
将所有分块的摘要汇总到一个变量中，再交给 Claude 3.5 Sonnet 进行横向对比。

一个能显著提升信息提取率的 Prompt 技巧：
在汇总节点，不要写“请总结这段话”，而要强迫 AI 寻找冲突点。我用的提示词片段：

你是一个极度挑剔的分析师。请在以下文本中寻找与[竞品A]功能描述相矛盾或互补的细节，严禁概括，必须原样摘录关键数据，若文中未提及则直接标注【未提及】，禁止脑补。

踩过的坑：
之前尝试用 RAG（向量检索）来做，结果发现竞品分析最怕的就是“局部真实、整体缺失”。比如 A 产品在第一页说支持某功能，但在第十页说该功能仅限企业版。如果走 RAG 检索，AI 只能检索到第一页，得出的结论就是“支持”，导致分析结果严重偏差。

目前的效率提升：
这套流跑通后，处理 10 份竞品文档的时间从手动阅读的 3 小时缩短到 2 分钟，且通过“递归汇总”规避了长文本截断问题，信息的覆盖率基本能维持在 95% 以上。