把 2019 年的 GPT-2 XL 部署在本地，我发现了被 RLHF 抹掉的 AI 灵气

最近我尝试在本地部署了一个 2019 年的“老古董”——GPT-2 XL。在习惯了现在动辄千亿参数、被调教得极其礼貌的闭源 API 之后，回头去跑这些早期的权重文件，这种感觉非常奇妙，就像是用现代的 RTX 40 系列显卡去运行当年的顶配模型，不仅是性能上的碾压，更像是一次关于大模型演进路径的“考古”。

最直观的感受是，GPT-2 XL 与现在的 Claude 3.5 或 GPT-4o 完全是两种生物。现在的模型在和你“对话”，而 GPT-2 XL 表现得更像一个纯粹的“概率补全机器”。它没有经过大规模 RLHF（人类反馈强化学习）的修饰，因此完全没有那种客气感，更不会在每句话开头给你加上一句“作为一个 AI 助手，我建议...”。它的输出极其纯粹，但也因此极其不稳定。

在实际测试中，我发现它在逻辑推理方面基本处于不可用状态。一旦涉及到稍微复杂一点的逻辑链条，它就会迅速崩掉，开始胡言乱语。但有趣的是，在文本续写方面，它反而展现出一种诡异的“灵气”。如果你给它一个特定的文学风格开头，它能维持住某种氛围感，而不会像现在被调教得太“标准”的模型那样，总想把答案引导向一个正确且平庸的结论。

对于想要尝试这种“模型考古”的朋友，部署过程其实非常简单。直接调用 Hugging Face 的 transformers 库即可，代码实现如下：

from transformers import GPT2LMHeadModel, GPT2Tokenizer

model_name = 'gpt2-xl'
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)

input_text = "The future of artificial intelligence is"
inputs = tokenizer.encode(input_text, return_tensors='pt')
outputs = model.generate(inputs, max_length=50, do_sample=True)

print(tokenizer.decode(outputs[0]))

在运行过程中，我注意到一个细节：虽然 GPT-2 XL 在参数量上远低于现在的 Llama-3 等模型，但由于它缺乏现代的量化优化技术，其资源占用效率低得惊人。不过好在现在的硬件冗余足够大，可以轻松吃掉它的开销。

这次实操让我意识到，我们现在高度依赖的 AI Agent 工作流，本质上是建立在极其庞大的参数量和极其精细的对齐（Alignment）之上的。当我们剥离掉那些为了用户体验而设计的“外壳”后，会发现模型最原始的预测能力在那个时代就已经初见端倪了。现在的模型虽然更聪明、更稳健，但在某种程度上，我们也失去了那种不可预测的、带有随机美感的生成体验。