AI模型训练的贪婪：为了数字化而牺牲稀有古籍的代价

如果为了喂饱大模型而把世上仅存几本的稀有古籍给“撕碎”数字化，这真的算技术进步吗？最近讨论度很高的一件事是部分AI公司在处理古籍数字化时，为了提高扫描效率或适配某种特定的数据采集流程，竟然采取了破坏性的处理方式。这种做法在追求规模化语料库的压力下，成了某种被默认的“必要牺牲”。

从技术链路来看，AI Agent和大规模预训练模型对高质量、多样化数据的渴求几乎是病态的。稀有书籍包含的独特语言模式和历史知识是极其宝贵的训练集。但尴尬的是，目前的数字化流程往往在“保存”与“利用”之间走极端。一些公司为了追求极致的OCR识别率，可能会对书籍进行物理拆解，以便平铺扫描，这在传统文献保护领域简直是灾难。

我们要思考的是，当这些物理实体消失，只剩下数字化后的Token，我们丢失的不仅仅是纸张。以下是这种“暴力数字化”带来的几个核心问题：

• 信息熵的丢失： 书籍的装帧、纸张质感、甚至页边批注都包含元数据。一旦被撕碎成纯文本，这些维度全部丢失。
• 不可逆的破坏： 数字副本可以通过算法复制，但物理原件是唯一的。一旦损坏，就再也没有机会通过新的物理检测技术去还原历史。
• 数据垄断的傲慢： 少数大厂掌握了数字化后的唯一副本，这意味着他们定义了这些古籍在AI模型中的“标准解读”。

对于真正做大模型实战的人来说，高质量数据的获取应该是可持续的。一个合理的数字化工作流应该是：非接触式高精度扫描 → 数字化增强 → 文本提取，而不是直接物理拆解。

如果现在的AI训练依然依赖这种破坏性的采集方式，那么我们所谓的“知识传承”其实是在用一种短视的工程思维替代文化保存。毕竟，模型可以通过权重更新来优化，但被撕碎的书页永远无法复原。