评估基准失配可能让模型真实能力被低估，调整提示词和测试框架比直接微调更适合定位问题

模型评测得分偏低，不一定说明模型能力不足，也可能与评估端采用的 Prompt 和模型熟悉的表达方式存在偏差有关。模型掌握了相关知识，却可能因为指令没有正确触发，或者答案没有满足评测脚本的输出要求，最终无法得到符合基准的响应。

面对这种情况，直接开展 SFT（监督微调）或调整超参数未必是有效选择。这种做法需要投入较多训练资源，分数增幅却可能很小。评估端还存在另一种优化路径：保持 LLM 的权重不变，通过自动化方式调整测试脚本和 Prompt，让评测条件更贴合模型已有的指令理解能力。采用这种方式时，模型参数并未改变，变化的是提示词和评估框架，评测结果也更能反映模型在适配后的条件下能够达到的水平，而不只是通过过拟合得到更高的分数。

动态评估链路会在输入问题、获取答案、对比标准答案之外增加一个调整环节。运行 Baseline 后，需要记录模型在哪些具体题目上失败，并按失败原因整理错误。

知识缺失与格式错误需要分开处理。前者表示模型确实不知道答案，后者则意味着模型已经掌握答案，只是输出没有通过基准测试使用的正则匹配。若错误主要来自格式，继续调整模型权重并不能解决评估要求与回答形式不一致的问题。

Prompt Harness 可以通过自动化方式迭代。教师模型（例如 Claude 3.5 Sonnet）负责查看错误样本上的表现，分析被测模型在哪些知识点上没有按预期作答，再生成更合适的提示词，并将其写回评估框架。调整完成后，需要重新运行相同基准，观察错误类型和分数是否发生变化；只有这些条件同时成立，才能判断收益来自评估端优化，而不是一次偶然波动。

原来的 Prompt 如果是 "Answer the following question."，模型给出的答案可能过长，即使内容正确，也会无法通过正则匹配。针对这种情况，Prompt 可以改为 "Think step-by-step and provide the answer in a concise format as required by the benchmark."，让模型继续完成推理，同时按基准要求给出简洁答案。

这种指令变化可能带来 0.12 甚至更高的分数提升，而通过微调权重获得相同效果，可能需要消耗数百个 GPU 小时。是否转入权重训练，可以依据错误构成来决定：当知识缺失仍占主要部分，或调整提示词后性能依然没有变化时，继续修改评估端的收益就会受到限制，此时再评估 SFT（监督微调）或超参数调整是否必要。

优化后的 Harness 还需要检查跨模型迁移性。在 Llama 3 上形成的指令引导方式，换到 Mistral 等其他模型后，仍然可以观察性能变化。迁移结果较好，说明这些模型在指令理解上可能存在一定共性；某个模型上的提升若无法在其他模型上复现，也不能直接把它视为通用方案。

这种路径的成本主要来自指令工程和框架优化，能够减少昂贵的 GPU 训练开销，也避免了微调过程中可能出现的过拟合。对于垂直领域评测，它还可以帮助团队区分两种情况：问题来自模型缺少相关能力，还是来自测试题与模型输出方式不匹配。

因此，在决定投入大量资源微调之前，可以先调整评估基准。模型表现受到“怎么问”的影响，而这种影响未必对应“知道多少”；只有先确认评估条件是否合适，后续训练才具有明确的比较依据。