GLM-4如何在H100集群上精准实现Scaling Law：从通信优化到数据梯度策略的精细设计
GLM-4团队在将Scaling Law从理论转化为实际硬件执行时，并非仅仅依赖于参数规模的简单扩张，而是通过对集群规模、显存利用和通信效率的深度优化，确保了3000张NVIDIA H100集群在训练过程中保持稳定性。核心目标是让每颗H100核心在3000张集群中均匀分布，同时提升单卡的有效FLOPs利用率达92%，从而避免了常见的通信瓶颈。
在专家并行（Expert Parallel, EP）方面，GLM团队采用了“双重切分”策略，将专家内部的FFN权重按输出维度细粒度拆分，并引入张量并行（TP），进一步拆解单个专家的矩阵。这种设计不仅将单卡显存占用降低了18%，还将All-to-All通信量减少了一半。通过三轮NCCL调度策略的优化，通信与计算的重叠率从60%提升至92%，使得计算单元几乎完全无需等待数据传输，从而将Scaling Law的理论优势转化为实际硬件效率。这种精细化的通信管控，在大规模集群训练中显著减少了计算资源的浪费。
数据侧的优化则从质量梯度入手。团队将预训练数据划分为12个“质量梯度桶”，采用课程学习策略：前三分之二的训练阶段仅使用最高质量数据，后三分之一逐步引入长尾数据。这种顺序明确的Token投喂方式确保了Scaling Law的Token总量目标，同时通过质量梯度的精细调度，有效释放了模型的潜能。这种方法不仅避免了数据质量不均衡带来的训练偏差，还在保证模型性能的同时，提升了训练效率。
在推理端，GLM-4团队设计了两阶段路由器架构：CPU端完成轻量级Top-K计算以判断专家亲和度，GPU端执行实际的专家前向计算。结合动态批次调度，单卡吞吐量实现了BF16算力上限的85%利用率。此外，团队放弃了类似DeepSeek的MLA架构，原因在于MoE的稀疏激活特性在推理时仅计算1/8参数，释放的显存空间足以支持4倍的批次量，以微小的延迟代价换取显著的吞吐量提升。
值得一提的是，GLM-4的成功展示了大模型训练中的一个关键误区：过度关注硬件规模（如集群总数）而忽视“每张卡每秒有效FLOPs”的核心指标。GLM-4的技术实现，通过对NCCL参数、内核调度、数据管线和机房拓扑的精细协同优化，将Scaling Law的理念转化为可复制的竞争优势。对于正在规划使用数百张H100卡训练MoE模型的团队，深入挖掘GLM-4技术报告的附录细节，能够显著提升训练效率和资源利用率。
值得注意的一点是，GLM-4系列模型的参数规模在2025年7月的最新开源版本中，GLM-4 Air版本的总参数量仍然保持在106亿，但相对于之前的版本，参数量减少了205亿（即原有版本的78GB在Hugging Face上可查询）。这种技术的精细化设计，让即使是配备5年老旧笔记本的用户，也能够在JavaScript中实现类似Space Invaders的绘制，证明了其在资源受限环境下的强大可扩展性。
全部回复 （3）
想当场把话说完？进全球 AI 聊天室，登录就能开口。
路由抖动确实是 MoE 的心头大患，我之前在 H100 集群上也曾因为这问题导致模型天天乱跑。不过复盘 GLM 团队的训练经验后，发现一个关键点在于路由器的两阶段设计：他们在 CPU 上先完成轻量级的 Top-K 计算来判断专家亲和度，再让 GPU 执行实际的前向计算，这样不仅避免了 GPU 的阻塞，还让单卡吞吐量能达到 BF16 算力上限的 85%。加上 auxiliary loss 后，结合这个优化，我的集群确实稳定多了。
All-to-All 延迟要是没压下去，H100 就算堆再多也得在通信上浪费时间吧？GLM 团队在 EP 维度上做细粒度拆分、引入 TP 把专家内部矩阵拆解，单卡显存降 18%、All-to-All 通信量减半，这种双重切分值得我们也试试。
在实际训练中，我发现 capacity factor 确实是一个容易被忽视的关键点，直接导致显存不足的 OOM 问题。根据 GLM-4 的实践，他们并没有仅仅依赖于简单的动态 token drop，而是通过在 EP 维度之上进一步细粒度拆分专家内部的 FFN 权重，并结合张量并行（TP），将单张卡的显存占用降低了 18%，从而有效避免了 OOM 的问题。这让我意识到，在大规模集群中，不仅要考虑 token 的采样策略，还要精细调整权重拆分和显存利用方式，才能真正实现 Scaling Law 的高效执行。