放弃PyTorch转用Java实现MiniGPT，我对GPT的理解彻底改变

学习 Transformer 时，不少人会选择直接调用 HuggingFace 的 API，或者用 PyTorch 堆叠几层 nn.Module。开发效率确实很高，但也很容易让人产生一种错觉：好像"我已经懂了"。可一旦熟悉了 model.train() 这类高度封装的指令，掌握的更多是工具怎么用，而不是模型本身究竟如何运转。

为了彻底看清这层面纱，我尝试了一件看起来很"低效"的事：不用任何 AI 框架，不使用 TensorFlow、PyTorch，甚至不使用 DJL，只依靠线性代数和几百行 Java 代码，从零实现一个 MiniGPT。

这次动手实现之后，最核心的认知变化是：GPT 本质上就是一台极其复杂的"预测下一个 token"的概率机器。它采用的是 Transformer 架构中的 Decoder 部分，通过自回归建模，把之前的输出重新送入模型，并在循环中持续预测下一段内容。从数学公式一路推演到代码实现，这种经历带来的理解，比单纯把论文读十遍还要深入。

整个工程被我拆成 13 个阶段，其中最让我印象深刻的，是亲手构建模型的核心架构。

第一步是实现 Tokenizer，决定文本如何映射为数字，这是整个模型的基础。接下来是 Embeddings 和位置编码，也就是 Positional Embeddings。Transformer 本身无法直接感知序列顺序，因此需要手动计算正弦和余弦函数，把词序信息加入模型。

如何用Java手动实现自注意力机制？

再往后，才真正进入"深水区"：实现 Self-Attention 与 Multi-Head Attention。

用 Java 写这部分时，不能再依赖 torch.matmul 这样的便捷操作，只能直接面对二维数组或基础矩阵运算。Query、Key、Value 三个矩阵需要手动完成乘法，还要计算 $\text{softmax}(\frac{QK^T}{\sqrt{d_k}})V$。做到这里才会发现，注意力机制本质上是一种基于相似度的加权平均。对矩阵维度变换的掌控程度，是调用现成 API 时很难体会到的。

反向传播中梯度公式如何推导？

整个项目里最难的部分 undoubtedly 是手动实现反向传播，也就是 Backpropagation。没有自动微分引擎 Autograd，就必须亲自为每一个权重矩阵推导梯度更新公式。

梯度消失导致NaN如何排查？

这一步也最容易出问题。我的初版代码对梯度消失处理得不够好，训练到前 100 个 step 时便出现了 NaN 报错，Loss 也无法收敛。正是围绕这些报错不断调试，我才真正弄明白：模型如何依据链式法则在每一层之间传递误差，又如何通过梯度下降逐步"学习"语言中的规律。

无框架推理阶段如何生成文本？

最后才是文本生成，也就是 Inference 阶段。加载训练好的权重后，程序通过循环调用预测函数，观察模型一个字一个字地生成结果。当一个完全由 Java 支撑、没有 AI 框架的 MiniGPT 开始输出有意义的文本时，成就感确实很难用语言形容。

如今 LLM 的规模已经达到千亿级，但再回到最基础的线性代数和矩阵乘法，就会发现模型无论扩张到多大，底层逻辑并没有改变。如果希望进一步理解模型本身，不妨脱离框架，在一个纯净环境中亲手构建一次。这种看似"低效"的过程，反而可能带来更高效的认知升级。