如何用3.1亿词的波兰历史语料库训练出跨越时空的语言模型？

一个名为Wieszcz-XIX的项目最近引起了语言模型研究领域的注意，它构建了一个包含1800年至1918年间波兰语的巨大语料库，并基于此训练了一系列时间边界语言模型。这个项目解决了历史波兰语数字化处理的重大挑战，为研究语言演变提供了宝贵资源。
历史波兰语虽然作为一门语言有充分文献记录，但在机器可读形式上只有约一百万词的标注数据，其余内容则面临质量参差不齐的光学字符识别问题。Wieszcz-XIX语料库包含6.75亿个标记（约3.1亿词），分布在294,369个文档中，其中大部分是期刊资料。这些数据来自Wolne Lektury和互联网档案馆，通过一个精心设计的处理流程进行筛选、去重、审计1918年后内容泄露，并在文档级别进行分割。
这个语料库比同一时期标注的语料库大了三个数量级，研究团队也对其缺陷进行了量化分析：存在与假阳性基准相关的识别错误，已去除的几乎完全重复内容，以及已从训练语料库中排除的1918年后内容泄露，残留量为0.04%至0.38%的字节，这些残留来自转录源，因此发布的语料库是逐文档训练的。在手动校正的样本中，可读文本的字符错误率为0.68%，45%的采样段落无法校正。
基于这一语料库，研究团队从零开始训练了一系列仅解码器模型，参数规模从47M到349M不等，并测量了它们的时间边界特性。与两个现代波兰基础模型（其中一个远大于此模型）相比，349M参数模型显示出交叉点，107M参数模型在与其相当大小的比较器上也显示出类似结果：1918年后的词汇使现代模型每字节多消耗约3.1比特，而比较器模型则没有显示出这种差距，且历史词汇使现代模型消耗的比特比比较器更少。
当展示历史文本时，这些模型会保持其拼写方式，而比较器模型则只能部分保持。增加参数带来的性能提升大约相当于对数据进行第二次遍历的两倍效果。该项目已发布语料库、代码和模型权重。
这个项目有几个值得关注的技术特点。首先，处理流程的设计非常关键，它需要确保语料库的纯净性和时间边界性。研究团队采用的多重筛选机制包括去除重复内容、检测和排除1918年后的内容，确保了语料库的历史准确性。
其次，模型训练采用了"阶梯式"方法，从47M到349M参数不等。这种渐进式的训练规模使得研究人员能够观察参数增加对模型性能的影响，并发现了一个有趣的现象：增加参数带来的性能提升大约相当于对数据进行第二次遍历的两倍效果。这表明在历史语言模型训练中，数据质量与模型规模同样重要。
第三，时间边界特性是一个创新概念。传统语言模型在处理历史文本时往往会混合不同时期的语言特征，而Wieszcz-XIX模型能够保持特定时期（1800-1918）的语言特征，特别是在拼写方面。这一特性对于历史语言研究具有重要意义，能够帮助研究人员更准确地分析语言演变过程。
然而，这个项目也存在一些局限性。字符错误率在可读文本中为0.68%，仍有近一半的采样段落无法校正，这表明OCR处理仍有改进空间。此外，研究团队明确指出，模型会重现历史偏见，包括反犹太主义言论，这在使用这些模型时需要特别注意。
从应用角度看，Wieszcz-XIX项目对波兰历史研究、语言学研究和数字人文研究都有重要价值。它不仅提供了一个大规模的历史波兰语语料库，还展示了如何训练能够保持历史语言特征的时间边界语言模型。这种技术可以推广到其他历史语言的研究中，为濒危语言和历史语言的数字化保护提供新思路。
从技术角度看，这个项目展示了处理大规模历史文本的挑战和解决方案。在数据质量方面，研究团队采取了严格的质量控制措施，包括去重、内容筛选和时间边界验证。在模型训练方面，他们采用了一种渐进式的训练策略，能够系统地评估不同参数规模对模型性能的影响。
这个项目还揭示了现代语言模型在处理历史文本时的局限性。研究表明，现代模型在处理历史文本时会出现"词汇成本"增加的现象，即每字节多消耗约3.1比特，而专门训练的时间边界模型则没有这个问题。这一发现对于设计和训练特定历史时期的语言模型具有重要指导意义。
Wieszcz-XIX项目的另一个重要贡献是发布了完整的语料库、代码和模型权重。这种开放获取的方式有助于促进学术研究和应用开发，使其他研究人员能够基于这个工作进行进一步的研究和改进。
总之，Wieszcz-XIX项目通过构建大规模历史波兰语语料库并训练时间边界语言模型，为历史语言研究提供了新的工具和方法。尽管存在一些局限性，如OCR错误和历史偏见问题，但这一工作在数据规模、模型设计和时间边界特性方面都有显著创新，为历史语言数字化处理开辟了新的方向。