拆分 Prompt 槽位优化为何效果不佳——揭秘 HARNESSEVO 实验原理

最近研究 Agent 的进化和 Prompt 的自动优化，发现许多人有一个共同的误区：他们总是习惯于把整个 Prompt 作为一个巨大的字符串进行迭代。他们认为，只要让模型不断地自我反思和自我优化，这个字符串就会在迭代中变得越来越强，最终进化出某种"神级 Prompt"。但看到 arXiv 论文 2609.02889 的研究后，我发现事实可能恰恰相反，结论相当残酷——这种所谓的"全量优化"其实是在浪费算力。

论文提出了一种名为 HARNESSEVO 的方案，其核心思想是将 Agent 的"脚手架"进行结构化拆分。研究者认为，一个完整的 Prompt 实际上是由不同功能维度组成的，因此他们将 Prompt 强制拆分成四个独立的槽位：角色设定（Role）、任务策略（Task-strategy）、工具/格式规则（Tool/format-rules）以及反思/控制逻辑（Reflection/control）。

结构化拆分真的能提高优化效率吗？

根据常规逻辑，如果我们把 Prompt 拆解得更细，优化器就能更精准地定位到哪个部分出了问题，从而实现更高效的迭代。但实验结果却非常反直觉。研究者在 ALFWorld 环境下，使用 7B 模型进行了测试。结果显示，如果你采取一种"公平"的策略，将优化预算平均分配给这四个槽位，最终得到的成功率仅为 0.657。而这个数字与直接使用原始 Prompt，或者把整个 Prompt 作为一个单一字符串进行优化的 0.642 相比，几乎没有实质性的区别。

这意味着，如果你试图在 Prompt 的每一个维度上都追求"全面提升"，结果往往是原地踏步。这种"全面开花"的优化方式，在实际效果上并没有给模型带来质的飞跃。

为什么结构化拆分在实验中失效了？

那么，为什么结构化拆分反而没效果？这里就涉及到了论文中提到的一个核心概念："价值局部化"。研究员通过详细的消融实验发现，性能的提升并不是均匀分布在四个槽位中的，而是极度不平衡的。事实上，几乎所有的性能提升都集中在"反思/控制"这个特定的槽位上。

为了验证这一观点，研究者做了一次对比实验：他们将预算从之前的四个槽位均匀分布（即每个槽位分配 16 次 rollout）改为"集中攻击"策略，将资源全部倾斜给那个高价值的"反思/控制"槽位。结果令人惊讶，成功率直接从 0.657 飙升到了 0.761。更离谱的是，在集中预算后的方案中，总的样本量竟然只有之前均匀分布时的一半，这意味着在提升效果的同时，效率反而更高了。

优化预算分割是否会导致性能陷阱？

这个实验结果揭示了一个非常深刻的"预算分割陷阱"：在优化过程中，如果搜索空间被切分得太细，且每个分片分配到的预算太小（比如每个槽位只有 16 次尝试），优化器根本无法触碰到性能提升的阈值。在这种情况下，所有的槽位都会卡在初始状态，处于一种"集体冻结"的低效状态。简单来说，就是你把资源分得太散，导致没有任何一个维度能被真正优化到产生质变。

对于我们平时写 Prompt 的开发者来说，这个结论其实具有极强的启发意义。我们经常陷入一种习惯性的优化路径：当 Agent 表现不佳时，我们会尝试增加一些描述，比如把"你是一个助手"改为"你是一个拥有 20 年经验的资深 XX 专家"，或者加上一句万金油的"请一步步思考"。但在论文的视角下，这些角色设定或通用策略的微调，可能根本不是性能突破的关键。

哪些 Prompt 环节才是提升成功率的关键？

真正起作用的，往往是那些具体的、具有强约束力的"控制逻辑"。例如，与其花时间优化角色设定，不如写一句具体的指令："如果发现结果与预期不符，请重新检查第三步的逻辑并修正"。这种针对反思和控制环节的精准干预，才是推动 Agent 成功率提升的真正引擎。

所以，如果你也想尝试这种结构化拆分优化，我的建议是：不要试图同时优化所有部分，不要追求所谓的"全面升级"。你应该先锁定那个最影响结果的"控制槽位"，将绝大部分的迭代预算和注意力集中在反思逻辑的打磨上。

为了方便大家实践，可以参考下面这个基于论文逻辑的结构化拆分模版。在实际操作时，请记住：优先攻击 Reflection/control 槽位，其他三个槽位在初期可以保持相对稳定。

# Agent Harness Structure (Decomposed)

- Role: [在此定义角色，例如：资深数据分析师]
- Task-strategy: [在此定义执行任务的步骤或策略]
- Tool/format-rules: [在此定义工具调用规范或输出格式要求]
- Reflection/control: [在此定义反思逻辑、错误检查机制及修正指令]