弱监督框架在大模型与轻量模型的协同下，将数据集提取精度提升至89.5%

面对强冲突或强流离失所（FCV）领域文档，提取被引用的数据集是个难题，这类文档分布散且缺乏标注。arXiv:2609.12107v1 提出的方案是：基于通用科研文献训练轻量模型初筛候选词，再由顶级 LLM 在上下文中校验并修正边界，最后利用精炼数据与合成样本微调轻量模型以实现大规模提取。

直接调用 LLM 处理全量文档成本过高且易产生幻觉，因此该框架采用三步策略：

1. 生成候选集：通用研究文献训练的轻量模型对无标签领域文档进行遍历，标记疑似数据集提及项。此阶段候选集含有大量噪音与边界不准的词。
2. LLM 在线修正：将候选词及其上下文输入前沿 LLM，判断其是否为数据集，若是则修正起止位置（Boundary Correction），若否则拒绝。LLM 充当了高质量标注员。
3. 闭环微调：将 LLM 修正结果与合成样本（Synthetic Examples）、对比样本（Contrastive Examples）共同用于微调轻量模型，从而将领域知识迁移至轻量模型。

论文在包含 1,706 个文本段落的独立金标准基准集（含研究、人道主义及运营文档）上测试，结果如下：

• 提及项级别（Mention Level）：精确率 74.1%，召回率 70.5%。
• 高置信度段落：精确率最高达 89.5%。
• 段落级别（Passage Level）：准确率 88.2%，特异性 88.6%。

处理公司内部的非结构化报告时，这种架构比纯 Prompt 提取更稳定。纯 LLM 在面对数万页文档时速度慢且一致性差。值得借鉴的是“轻量模型 → LLM 修正 → 再微调轻量模型”的循环，它解决了高精度与推理速度的矛盾。LLM 对边界的修正有效避免了 NER 中常见的“多切一个词”或“少切一个词”问题。对于缺乏标注数据的特定领域，无需强行标注数千条数据，可先用通用模型初筛，再用 GPT-4 级别模型做 Label Refinement，最后回灌微调，链路效率极高。