写机器学习代码的时候难道真的就是在跟 Bug 死磕吗

今天刷到一个帖子，感触挺深的。很多刚入坑机器学习或者刚开始写深度学习模型的新手，包括我自己，总觉得学习过程应该是研究那些高大上的算法公式、推导梯度下降、或者搞明白 Transformer 的注意力机制是怎么运作的。但实际上手跑代码之后才发现，现实情况极其骨感。

真正占据你 80% 时间的，根本不是什么模型架构设计，而是各种各样的 Bug。

我刚开始折腾 PyTorch 的时候，最崩溃的不是看不懂论文，而是那种“明明逻辑全对，但 Loss 就是不下降”或者“维度对不上”的无力感。我整理了一下，写 ML 代码踩坑的典型场景大概有这么几种：

• 维度爆炸与对齐： 这是最基础也最折磨人的。明明矩阵乘法看起来逻辑通顺，结果运行一下报错 RuntimeError: size mismatch, m1: [64 x 784], m2: [256 x 10]。你得盯着 Tensor 的 shape 一个个去看，确认是 Linear 层参数写错了，还是数据预处理的时候没做 Flatten。
• 隐形的梯度问题： 这种 Bug 最阴险。代码能跑通，程序不报错，Loss 也确实在变，但可能因为梯度消失或者梯度爆炸，模型根本没在学东西。这种时候你得去查学习率（Learning Rate）是不是设得太离谱，或者有没有忘记加 optimizer.zero_grad()。
• 数据预处理的坑： 训练集和测试集的归一化逻辑不一致，或者在 DataLoader 里没处理好数据增强，这种 Bug 往往会让你得到一个“看起来效果很好”但实际没用的模型。

我之前遇到过一个特别离谱的报错，当时为了排查一个 NaN 损失值，硬是在代码里加了无数个 print(tensor.max(), tensor.min())，最后发现竟然是因为输入数据里混进了一个极其巨大的异常值，导致梯度直接炸了。

所以说，别被那些炫酷的 AI 论文给唬住了。真正的机器学习实战，其实就是一场漫长的、极其琐碎的、跟各种维度不匹配和数值稳定性死磕的“捉虫”马拉松。