把 Temperature 调高并不能让模型变得更有创意

很多人习惯性地认为 Temperature（温度）是控制模型“创意”的开关，觉得调高了它就会产生天马行空的想法。但从概率分布的底层逻辑来看，这其实是个误区。Temperature 改变的是概率分布的“平滑度”，而不是改变 Token 之间的相对排名。

简单来说，如果模型在预测下一个词时，词 A 的概率是 0.4，词 B 是 0.2，无论你把温度设为 0.1 还是 2.0，词 A 的概率永远高于词 B。温度只是在拉伸或压缩这些概率的差距。

为了让大家在实操中少踩坑，我把这几个参数对 Next Token 的实际影响拆开来看：

• Temperature： 它在 Softmax 层之前对 Logits 进行缩放。温度低时，高概率词会被进一步放大，低概率词被压低，结果就是输出极其稳定（甚至重复）；温度高时，概率分布变得扁平，原本低概率的词有了被抽中的机会，但这不叫“创意”，这叫“增加随机性”。
• Top-k： 这是一个硬截断。它直接把概率排名在 k 之外的所有词全部扔掉，只在前 k 个词里采样。这能有效防止模型抽到完全不相关的离群词。
• Top-p (Nucleus Sampling)： 这是一个动态截断。它根据累积概率来选词，直到概率之和达到 p。这比 Top-k 更灵活，因为在模型很确定时，候选集会很小；在不确定时，候选集会自动扩大。

如果你真的想提升大模型的输出质量或改变其风格，与其在这些采样参数上死磕，不如去优化提示词工作流。一个具体的实操建议是：如果你需要模型生成多样化的方案，不要只靠调高 Temperature，试着在 Prompt 里明确要求它“提供三个截然不同的视角”，这比随机抽词有效得多。

底层逻辑是这样的：

# 伪代码简化逻辑：Temperature 只是除法
# 原始 Logits: [2.0, 1.0, 0.1]
# Temp = 0.5 -> [4.0, 2.0, 0.2] (差距拉大，更确定)
# Temp = 2.0 -> [1.0, 0.5, 0.05] (差距缩小，更随机)
# 无论怎么除，2.0 永远是最大的

所以，别再把 Temperature 当成“灵感按钮”了，它只是在概率分布的边缘做文章。