如何利用 LLM 自动化构建高质量的指令微调数据集？

我最近在给一个垂直领域的模型做指令微调，尝试了一套基于 Claude 3.5 Sonnet 的自动化 pipeline，核心逻辑是：种子任务 → 属性扩充 → 变体生成 → 自动过滤。

1. 突破多样性的配置技巧
不要在同一个 Prompt 里让 AI 生成所有数据。我建立了一个 attribute_matrix.json，定义了任务的维度（如：复杂度、语气、输入长度、领域子类）。

{
  "complexity": ["简单查询", "多步推理", "矛盾分析"],
  "style": ["专业学术", "口语化", "简洁指令"],
  "domain": ["金融风控", "法律条文", "合规审计"]
}

然后写个 Python 脚本随机组合这些维度，每次喂给 LLM 一个组合，强行要求它在特定约束下生成。比如：{complexity: "多步推理", style: "口语化"}，这样生成的指令分布才均匀，不会全部集中在简单的问答上。

2. 关键的 Prompt 构造
生成 Quality-QA 对时，必须要求 LLM 先写“推理链（CoT）”再写答案。如果直接出答案，微调后的模型容易产生幻觉。

# Prompt 示例
你现在是一个数据集构造专家。请针对【金融风控】领域，模拟一个【多步推理】的真实用户场景。
要求：
1. 首先在 <thought> 标签内分析该场景需要涉及哪些知识点，逻辑链条是什么。
2. 然后输出用户指令 <instruction>。
3. 最后输出高质量的参考答案 <response>。
注意：严禁使用“作为一个AI”等废话，答案必须包含具体的数值计算或条款引用。

3. 避坑指南：如何清洗“AI味”
自动化生成的集最容易出现的问题是：所有答案的结构都一样（比如总是以“首先...其次...最后...”开头）。

我踩过最大的坑就是直接把 LLM 生成的原始数据喂进去，结果模型学会了这种死板的说话方式。现在的解决办法是引入一个“反向校验步骤”：用另一个模型（比如 GPT-4o）对生成的数据进行打分，剔除掉那些带有明显 AI 模板痕迹的样本。

4. 效率提升的工程操作
不要在网页端一个个复制，直接上 LiteLLM 配合异步请求。

import asyncio
from litellm import batch_completion

# 定义一批多样化组合的 prompts
prompts = [f"生成一个{attr}的任务" for attr in combinations]

# 异步批量生成，速度提升 10 倍以上
responses = await batch_completion(
    model="claude-3-5-sonnet-20240620", 
    messages=[{"role": "user", "content": p} for p in prompts]
)

这套流程下来，我把原本需要人工标注两周的工作量缩减到了 3 小时，且通过控制属性矩阵，数据集的覆盖率比纯随机生成高得多。