投机采样（Speculative Decoding）在论文里看着能起

很多搞大模型推理的朋友可能发现，自己部署投机采样后，速度不但没涨，反而变慢了。我之前在折腾 Qwen2.5-3B 和 0.5B 的组合时就踩了这个坑：原本以为能快不少，结果实测 Token/s 反而掉了，甚至出现了 0.86x 这种离谱的“负加速”。

很多人第一反应是硬件锅。比如在 Mac 的 MPS 后端上，每次调用模型都有个固定开销，小模型虽然参数少，但调度时间占比太高，导致 6 倍大小的模型速度只快了 2.8 倍。但这只是部分原因。

为了排除硬件干扰，我直接用 FLOPs 理论计算了一下。结论很扎心：即使硬件开销为 0，只要接受率（Acceptance Rate）不够高，这套算法在理论上就赢不了。

• 核心矛盾： 成本比（c）与接受率的博弈。
• 实测数据： 用 0.5B 做草稿模型，接受率在 30%-40% 左右时，理论加速比连 1.0x 都不到。
• 尝试方案： 我试过换成 1.5B 的草稿模型，本以为接受率提高能救场，结果成本比 c 变成了 0.5，这意味着它需要 70% 以上的接受率才能打平。

有趣的是，在实际跑 1.5B 时，偶尔能刷出 1.37x 的加速，但大多数时候还是在 0.4x - 0.7x 之间徘徊。这说明投机采样的效果极度依赖于草稿模型对主模型分布的拟合程度。如果草稿模型猜不准，频繁的拒绝和回滚不仅浪费计算量，反而成了性能累赘。

简单来说，投机采样不是万能药，如果草稿模型太弱（猜不准）或者太强（太慢），这套工作流纯属浪费电。

对于想实操部署的朋友，可以参考这个理论加速比公式来预估：

E[speedup] = (1 - α^(γ+1)) / ((1 - α)(γ·c + 1))

其中 $\alpha$ 是接受率，$\gamma$ 是猜测长度，$c$ 是模型成本比。建议先算一遍，如果结果低于 1.2，就别折腾部署了，直接用单模型推理反而更稳。