改提示词带来的在线故障可能是最隐秘的问题，因为它们根本不会抛出任何错误信息

模型回归（Prompt Regression）是生产环境中最令人烦恼的 Bug。它与代码逻辑错误导致的 Exception 或 JSON 解析失败时记录的 Error Log 不同。当你稍作调整后，API 依然返回 200，响应速度并未变化，格式看似正常，但模型可能悄然违背了某个约束条件。例如，原本要求输出 ISO 格式，现在可能偶尔混杂自然语言。

这种“静默失败”绝非人工肉眼检查（Spot-checking）能捕捉到。人类直觉往往倾向于测试“快乐路径”（Happy Path）——模型表现最稳定的场景。但真正的风险藏在边缘案例、格式约束、拒绝回答逻辑以及指令冲突之中。

我认为，建立一套简单的评估工具链（Eval Harness）很有必要。其核心不在于框架复杂度，而在于形成“黄金案例（Golden Cases）+ 确定性评分器（Deterministic Graders）+ 基准对比（Baseline Comparison）”的闭环。若新版本得分低于基准，直接让 CI/CD 流水线中断。

这套方案只需一个 Python 文件和一个 JSON 配置文件，实操逻辑如下：

一、搭建核心评估脚本

该脚本通过注册不同评分器（如正则匹配、关键词检查、字数限制）对模型输出进行严格判定。

# eval_harness.py
import json
import re
import sys
from pathlib import Path

GRADERS = {}

def grader(name):
    def wrap(fn):
        GRADERS[name] = fn
        return wrap
    return decorator

@grader("regex")
def grade_regex(case, output):
    return bool(re.search(case["pattern"], output))

@grader("keyword")
def grade_keyword(case, output):
    lowered = output.lower()
    return any(k.lower() in lowered for k in case["keywords"])

@grader("word_count_max")
def grade_word_count(case, output):
    return len(output.split()) <= case["max_words"]

def make_model_fn(base_url, api_key, model):
    from openai import OpenAI
    client = OpenAI(base_url=base_url, api_key=api_key)
    def fn(prompt):
        response = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            temperature=0.2,
        )
        return response.choices[0].message.content
    return fn

def run_case(case, model_fn):
    output = model_fn(case["prompt"])
    passed = GRADERS[case["grader"]](case, output)
    return {"id": case["id"], "passed": passed, "output": output}

def run_suite(cases, model_fn):
    results = [run_case(c, model_fn) for c in cases]
    score = sum(r["passed"] for r in results) / len(results)
    return score, results

def main():
    cases = json.loads(Path("golden_cases.json").read_text())
    base_url, api_key, model = sys.argv[1], sys.argv[2], sys.argv[3]
    model_fn = make_model_fn(base_url, api_key, model)
    score, results = run_suite(cases, model_fn)

    if "--save-baseline" in sys.argv:
        Path("baseline.json").write_text(json.dumps({"score": score}))
        print(f"baseline saved: {score:.2f}")
        return

    if not Path("baseline.json").exists():
        print("Error: baseline.json not found. Run with --save-baseline first.")
        sys.exit(1)

    baseline = json.loads(Path("baseline.json").read_text())
    delta = score - baseline["score"]
    print(f"score={score:.2f} baseline={baseline['score']:.2f} delta={delta:+.2f}")

    for r in results:
        if not r["passed"]:
            print(f"FAIL {r['id']}: {r['output'][:160]}")

    # 若得分下降超 5%，直接判定失败
    if delta < -0.05:
        sys.exit(1)

if __name__ == "__main__":
    main()

二、编写黄金案例文件

每个 Case 如同一份“合同”，明确规定输出必须包含何种内容、字数限制等。

[
  {
    "id": "date-format-001",
    "prompt": "Extract the ISO date from: 'Deploy shipped 2026-08-27 at 14:00 UTC.'",
    "grader": "regex",
    "pattern": "2026-08-27"
  },
  {
    "id": "summary-length-001",
    "prompt": "Summarize in at most 10 words: 'The quick brown fox jumps over the lazy dog.'",
    "grader": "word_count_max",
    "max_words": 10
  },
  {
    "id": "keyword-check-001",
    "prompt": "Explain what a black hole is in one sentence.",
    "grader": "keyword",
    "keywords": ["gravity", "singularity", "light"]
  }
]

三、实战部署建议

使用流程极简：

1. 先运行初始版本，保存基准分：python eval_harness.py <URL> <KEY> <MODEL> --save-baseline
2. 调整提示词后，直接执行脚本。若 delta 落到设定门槛以下（如 5%），脚本退出码非零，自动化流水线自动拦截风险变更。

这一方法将“感觉模型聪明度/愚钝度”从主观判断，转化为可量化的工程指标。