与其死磕怎么微调模型，不如试着自动优化评估基准来提升模型表现

很多人在刷榜的时候有个误区，觉得分数低就是模型不行，得赶紧去跑微调或者改参数。但其实很多时候是评估基准（harness）本身的问题，测试集和模型的分布不匹配，导致模型明明有能力却拿不到分。

这次看到的这个思路很有意思：不要去动 LLM 的权重，而是去“训练”那个评估框架。简单说就是通过自动化的方式优化测试脚本和 prompt，让模型在不改变参数的情况下，在不同模型和不同基准测试之间实现性能的跨越。这比重新跑一遍全量微调要轻量得多，而且结果更真实。

我简单梳理了一下这种方法的实操逻辑，基本分为三步：

一、构建动态评估链路
不再使用死板的静态测试集，而是引入一个优化循环。先跑一次 baseline，记录模型在哪些题目上掉链子，分析是格式问题还是理解问题。

二、自动化迭代 Prompt Harness
利用一个更强的模型（比如 Claude 3.5 Sonnet）来分析错误样本，自动生成能让被测模型更好地触发知识点的提示词，然后更新到评估框架中。

{
  "original_prompt": "Answer the following question.",
  "optimized_prompt": "Think step-by-step and provide the answer in a concise format as required by the benchmark.",
  "improvement_score": 0.12
}

三、验证跨模型通用性
最关键的一点是，这种优化后的 harness 居然在不同模型之间有一定的迁移能力。也就是说，在 Llama 3 上优化出的某种指令引导方式，换到 Mistral 上可能同样能提升分数。

• 效率提升： 避开了昂贵的 GPU 训练成本，纯靠指令工程和框架优化。
• 结果真实度： 揭示了模型真实的上限，而不是靠过拟合测试集刷出来的分。
• 适用场景： 特别适合那些在特定垂直领域做 benchmark 评估的团队，能快速定位是模型能力不行还是测试题出得太烂。

说白了，现在的 LLM 已经强到一定程度了，很多时候限制它的是怎么问，而不是它知道多少。这种“优化评估端”的思路比盲目微调要聪明得多。