AI Agent的上下文窗口其实就是CPU缓存，而非真正的内存

<article>
<h2>为什么增加上下文窗口长度不能解决模型幻觉？</h2>
<p>在构建 AI Agent 时，我之前习惯于通过增加上下文窗口（Context Window）来塞入更多背景资料，但实际运行发现，即便使用了支持 128k 甚至 200k token 的模型（如 GPT-4o 或 Claude 3.5），模型在处理长文本时依然会出现关键信息丢失或指令失效的情况。经过分析，我意识到上下文窗口本质上是推理时的“缓存”而非“存储内存”。</p>
<p>如果将上下文窗口类比为 CPU 的 L1/L2 缓存，那么真正的“工作内存”应该由应用层的编排逻辑（Orchestration Layer）来管理。模型只负责推理，而应用程序必须负责信息的组装。如果组装层逻辑混乱，输入大量无关噪音，即便窗口足够大，模型依然会产生幻觉。</p>

<h2>如何构建 Agent 的内存分层架构？</h2>
<p>为了提高 Agent 的执行稳定性，我将内存管理分为三个层级，避免将所有压力都压在 Prompt 长度上：</p>
<ul>
<li><strong>持久化存储（Durable Memory）：</strong> 使用向量数据库（如 Milvus 或 Pinecone）存储海量知识，负责长期保存。</li>
<li><strong>主动工作内存（Active Working Memory）：</strong> 由编排层负责，在每次请求前动态组装当前任务所需的最小状态集。</li>
<li><strong>上下文窗口（Context Window）：</strong> 仅作为瞬时推理的执行表面，承载最终组装好的 Prompt。</li>
</ul>

<h2>实际的上下文组装流程是如何实现的？</h2>
<p>在代码实现层面，我将单次请求的 Prompt 生成流程拆解为以下四个步骤，确保模型接收到的信息是经过过滤的精准状态���而非原始文档堆砌：</p>
<ol>
<li><strong>检索与过滤：</strong> 根据当前 Query 在向量库中执行相似度检索，剔除低相关度片段。</li>
<li><strong>状态恢复：</strong> 从 Redis 等缓存中提取当前会话的 History 状态及预设的策略约束（System Prompt）。</li>
<li><strong>信息聚合：</strong> 汇总工具执行结果、API SDK 规范或最新的 Git Commit 记录等碎片化上下文。</li>
<li><strong>最终组装：</strong> 将上述内容按优先级排序，拼接成最终发送给 LLM 的文本。</li>
</ol>

<h2>在开发过程中遇到了哪些典型的组装错误？</h2>
<p>在调试 Agent 时，我发现很多所谓的“模型变笨”其实是组装层的问题。例如，在处理复杂任务时，如果直接将检索到的 10 个文档片段全部丢入上下文，经常会出现 <code>Lost in the Middle</code> 现象，即模型对文本中间部分的指令响应率大幅下降。</p>
<p>常见的错误表现及排查方向：</p>
<ul>
<li><strong>指令被覆盖：</strong> 当检索到的文档过长时，模型可能会忽略 Prompt 顶部的约束条件。解决方法是将关键约束在 Prompt 的末尾再次重复。</li>
<li><strong>噪音干扰：</strong> 检索回来的片段包含过多无关信息，导致模型推理方向偏移。此时应优化 Rerank 环节，而非增加 Token 限制。</li>
<li><strong>状态污染：</strong> 之前的对话历史中包含了错误的中间结果，导致后续推理持续出错。需要在组装层实现状态清理机制。</li>
</ul>

<h2>实操建议：优化中间层而非死磕 Prompt</h2>
<p>对于开发者来说，提升 Agent 效果的重心应从“提示词工程”转向“组装流优化”。</p>
<p>建议在开发时采用如下伪代码逻辑来管理上下文：</p>
<pre><code>
// 错误做法：直接将所有相关文档拼接
prompt = "Context: " + all_retrieved_docs + " Question: " + query;

// 正确做法：构建主动工作内存
working_memory = {
"system_constraints": get_policy(),
"relevant_context": rerank(retrieve(query)),
"session_state": get_current_state(session_id),
"tool_outputs": get_last_execution_result()
};
prompt = assemble_final_prompt(working_memory);
</code></pre>
<p>通过这种方式，我可以精确控制喂给模型的每一个 Token，确保上下文窗口始终处于最高效的利用状态。</p>
</article>