只会盯着 Training Loss 看就能解决性能问题？那是玄学，不是工程。

大模型训练跑得慢、显存莫名其妙炸了，如果你还在靠“感觉”去调参，那效率低得令人发指。真正能解决问题的，是看清底层的 kernel 到底在干什么。Transformer 架构里的 Attention 机制最容易藏污纳垢，单纯看整体耗时根本定位不到具体的算子瓶颈。

如果你想搞清楚到底是内存带宽限制了计算，还是显存碎片导致的分配延迟，别在命令行里干瞪眼，直接去用 torch.profiler 配合 trace 视图。与其盲目猜测，不如直接去拆解每个 kernel 的执行细节。

工具的用法不用我赘述，去看官方文档里的进阶逻辑，这比看那些营销号写的软文有用得多：

https://pytorch.org/docs/stable/profiler.html

别光盯着模型参数看，真正拉开差距的是工程化的深度。能从算子层面把问题揪出来的开发者，才算拿到了 LLM 推理优化的入场券。如果你还没建立起这种底层分析的思维，那你的优化工作大概率只是在做无用功。