GPT-2 XL在2024年还能跑出什么感觉？

把一个2019年的“老古董”GPT-2 XL部署在本地，这种感觉就像是在用现代的显卡去跑当年的顶配模型。很多人习惯了现在动辄千亿参数的闭源 API，其实回过头看这些早期的权重文件，能更直观地感受到大模型演进的路径。

这次实操过程中，最直接的感受就是它和现在的 Claude 3.5 或 GPT-4o 完全是两种生物。现在的模型像是在和你“对话”，而 GPT-2 XL 更像是一个极其强大的“概率补全机器”。它没有那种经过 RLHF（人类反馈强化学习）修饰后的客气感，也不会在每句话开头给你加一句“作为一个AI助手...”，它的输出极其纯粹，但也非常不稳定。

实测对比发现：

• 逻辑推理： 基本处于不可用状态，稍微复杂一点的逻辑链条就会直接崩掉，开始胡言乱语。
• 文本续写： 意外地有灵气。如果你给它一个特定的文学风格开头，它能维持某种诡异的氛围感，这点比现在被调教得太“标准”的模型更有趣。
• 资源占用： 相比现在的 Llama-3 这种经过量化的模型，GPT-2 XL 的效率低得惊人，但好在现在的硬件能轻松吃掉它。

部署过程其实很简单，直接用 Hugging Face 的 transformers 库就能跑起来：

from transformers import GPT2LMHeadModel, GPT2Tokenizer

model_name = 'gpt2-xl'
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)

input_text = "The future of artificial intelligence is"
inputs = tokenizer.encode(input_text, return_tensors='pt')
outputs = model.generate(inputs, max_length=50, do_sample=True)

print(tokenizer.decode(outputs[0]))

这种“模型考古”最大的意义在于意识到，我们现在依赖的 AI Agent 工作流，本质上是建立在极其庞大的参数量和极其精细的对齐之上的。去掉这些外壳，模型最原始的预测能力其实在那个时候就已经初见端倪了。