如何利用 LLM 自动构建高质量的指令微调数据集并进行清洗

想要通过指令微调（SFT）让模型具备某种特定能力，最头疼的不是训练，而是那几千条高质量的 instruction-input-output 数据。靠人工标注太慢，直接用 GPT-4 批量生成又容易出现“AI味”太浓、逻辑重复的问题。

我最近在尝试一套“自我演化”的合成数据流，核心逻辑是用一个强模型（如 Claude 3.5 Sonnet）扮演“出题人”和“审核员”，通过迭代来洗掉低质量样本。

第一步：多样化种子指令扩展
不能直接让 AI “给我生成 100 个关于 Python 的问题”，这样出来的结果极其单一。我采用的是类别矩阵法，先定义能力维度（如：代码重构、Bug 修复、性能优化）和场景维度（如：FastAPI、Pandas、异步并发），然后让 AI 交叉组合。

提示词参考：

你是一个资深软件架构师。请基于以下维度矩阵：
- 能力：{能力维度}
- 场景：{场景维度}
生成 5 个极具挑战性的真实开发场景问题。要求：禁止使用“如何...”这种通用句式，必须包含具体的业务约束（如：内存限制在 512MB 内，且不能使用第三方库）。

第二步：构建响应并引入“负样本”
为了增强模型的鲁棒性，我故意让 LLM 生成一部分“带有微小错误”的答案，然后通过另一个 Prompt 引导模型进行修正。这种 Wrong Answer -> Correction 的对比数据对模型学习逻辑链路非常有帮助。

第三步：自动化清洗流水线
生成的数据量大到无法人工核对，我写了一个 Python 脚本，调用 LLM 对每条数据进行打分（1-5分），重点检查：指令是否含糊、答案是否包含幻觉、格式是否符合 JSONL。

清洗逻辑伪代码：

def filter_dataset(item):
    # 1. 长度过滤：太短的指令通常缺乏上下文
    if len(item['instruction']) < 15: 
        return False
    # 2. 语义去重：计算 Embedding 余弦相似度，剔除重复率 > 0.9 的样本
    if is_duplicate(item['instruction']):
        return False
    # 3. LLM 质量审核
    score = call_llm_evaluator(item) 
    return score >= 4

踩过的坑：
过度依赖单一 Prompt。如果所有数据都是同一个 Prompt 生成的，模型会学到某种特定的“说话语气”而非知识本身。建议每 50 条指令更换一次 System Prompt 的人设。
忽略了格式一致性。在导出 JSONL 时，如果 LLM 在输出中夹杂了

 ...

这种 Markdown 标签，会导致训练脚本直接崩溃。建议在后处理阶段强制用正则清洗。

效率提升点：
并发请求。用 asyncio 配合 httpx 跑生成脚本，速度比同步请求快了 10 倍以上。
动态采样。在数据集构建过程中，每生成 200 条就随机抽 10 条人工核对，一旦发现偏差立即调整种子指令，避免浪费 Token 跑出一堆垃圾数据。