CDLM 重构文本生成：从逐词预测到连续扩散的范式转变

多年来，LLM 社区对自回归（Autoregressive）那种“从左到右”的生成方式已经习惯了。然而，DeepSpeed 和谷歌 DeepMind 推出的连续扩散语言模型（CDLM）却提出了全新的解决方案：不再依赖逐个预测下一个 Token，而是将文本生成视为从随机噪声中逐步恢复语义向量的过程。这种思维方式的转变具有颠覆性。

CDLM 的核心创新在于将离散的 Token 映射到连续的向量空间。传统的 GPT 架构本质上是在词表空间进行多项式分布的离散选择；而 CDLM 将文本视为连续向量序列，通过去噪过程（Denoising Process）逐步剥离噪声以恢复原始信息。

如何在连续空间实现映射？

目前，该技术路线主要分为两种实现方式。第一种是 DiffusionLM 采用的方案，利用 VQ-VAE（向量量化自动编码器）将 Token 投射到连续潜空间（Latent Space），然后训练基于 U-Net 架构的去噪网络。这种方法通过量化保证了稳定性，但引入了额外的编码环节，导致信息损耗。第二种则是 GligenLM 的探索路径，直接在 Embedding 嵌入空间内训练扩散模型，完全避免了量化步骤。实测表明，GligenLM 在 GLUE 基准测试中显著优于前者，但代价是计算预算的大幅增加和更高的显存负担。

多样性优势的来源

在生成效果方面，CDLM 虽然在困惑度（Perplexity）指标上未能压倒性优于 GPT-3，但在“生成多样性”维度展现出显著优势。自回归模型容易陷入局部最优，导致内容同质化或重复生成；而扩散模型凭借随机采样机制，赋予文本更高的灵活性和创意张力。值得一提的是，长度可控性方面，GligenLM 采用并行生成整段序列而非串行生成，能更精确地控制输出篇幅，在严格字数限制的应用场景中，比自回归模型更符合人类直觉。

训练与推理的短板

尽管 CDLM 仍处于发展阶段，距离大规模商用还有较大差距。其训练对超参数极度敏感，尤其是噪声调度表（Noise Schedule）的调整难度极大，导致收敛速度远低于标准 Transformer。此外，推理延迟也是一个重要痛点：自回归模型已经较慢，而 CDLM 在推理时需要多次采样迭代。如果按照标准扩散流程，单段文本生成通常需要数十轮去噪循环，这对实时对话场景几乎没有实用性。

加速技术能否突破实用瓶颈？

然而，加速技术正在逐步解决这一问题。业界正在积极引入 DDIM（去噅扩散概率模型）或一致性模型（Consistency Models），旨在将采样步数从几十次降低到数次甚至单次。一旦推理速度实现数量级提升，这种兼具全局语义掌控力与高多样性的 CDLM 模式，有望成为攻克 LLM “幻觉”与“重复性”问题的关键解决方案。