如何构建一个针对垂直行业私有数据的 LLM 评测集？

很多公司在做私有数据微调或者 RAG 时，最大的痛点不是模型训练不出来，而是根本不知道模型到底“变强了没有”。依赖通用评测集（如 MMLU）在垂直领域完全没意义，因为你不能用通用常识去衡量一个医疗诊断或法律合同分析模型的准确度。

我最近在帮一个工业设备领域的项目搭评测集，实测下来，最有效的方法是构建「黄金数据集 (Golden Dataset)」。

构建逻辑建议走这个链路：
种子问题提取 → 专家标注标准答案 → 多模型交叉验证 → 量化打分。

最关键的是怎么出题。不要自己凭空想，直接从用户真实的 Query 日志里抽样，或者用 GPT-4o 针对私有文档进行「反向出题」。

这里分享一个我实测好用的反向出题 Prompt：

# Role: 垂直领域评测出题专家
# Task: 根据提供的【私有知识片段】，构建一个极具挑战性的评测样本。
# Requirements:
1. 问题必须只能通过该片段回答，不能依赖通用知识。
2. 必须包含一个“陷阱”：在问题中加入一个干扰项，测试模型是否会产生幻觉。
3. 提供【标准答案】和【评分要点】（必须包含的关键词）。
# Input: {{私有文档片段}}

关于模型评估的实测对比：
在对结果进行打分时，我对比了三种方案，结论如下：

1. 人工打分
表现：最准，但速度慢得离谱。
适用场景：最后阶段的抽样验收。

2. 确定性匹配（关键词/正则）
表现：极快，但太死板。只要模型换个说法，哪怕意思对，也会被判错。
适用场景：数值类、状态类（如“设备运行状态：正常”）的硬性指标核对。

3. LLM-as-a-Judge（用强模型评弱模型）
表现：实测用 Claude 3.5 Sonnet 作为裁判，在语义理解上比 GPT-4o 更客观，不容易出现“只要语气客气就给高分”的情况。
适用场景：开放式问答、总结类任务。

避坑指南：
别试图做一个巨大的评测集，规模大到最后根本没法维护。建议构建 200-500 条高质量、覆盖全场景的 Case 即可。比起数量，更重要的是定义好「错误类型」：是检索失败（Retrieval Fail）导致的回答错误，还是模型推理（Reasoning Fail）能力不足。

如果是 RAG 场景，记得把「检索片段」和「最终答案」分开评，否则你分不清到底是向量数据库没搜到，还是模型在胡编乱造。