vLLM FP8量化：在H100/undefined上实现推理性能翻倍的新路径

FP8量化已成为当前兼顾推理性能与模型逻辑能力的最佳方案。这一方案要求同时满足以下条件：使用H100或undefined等原生支持FP8指令集的GPU，以及vLLM框架的最新版本。在这些硬件与软件的约束下，FP8量化可将单机并发请求数直接提升近一倍，同时显存占用显著下降。

传统量化方案面临明显局限。INT8或INT4虽然位宽更低，但缺乏指数位支持，在处理长尾特性权重时容易引发逻辑能力下降。相比之下，FP8保留了指数位，使其在降低位宽的同时，更好地维持了模型的数值稳定性。从数据传输角度看，FP8将数据量减半，在固定显存带宽下实现数据传输量的翻倍，从而直接提升推理吞吐量。

部署方面，vLLM通过简化工具链显著降低了量化门槛。过去需要复杂的离线量化、校准与转换流程，现在仅需在启动命令中添加--quantization fp8即可实现。以facebook/opt-125m为例，切换至更大模型时，显存占用明显下降，而Token生成速度维持在高水平甚至略有提升。

然而，FP8并非在所有场景都适用。对于A100及更早型号GPU，FP8虽然可运行，但由于缺乏硬件级指令优化，性能提升会大幅降低。此外，FP8在训练阶段可能暴露出稳定性问题，尤其在使用SwiGLU激活函数时，长训练周期可能导致权重对齐问题及异常放大现象。这些问题在短周期训练中难以观测到，但在延长训练过程中逐渐显现。

值得注意的是，FP8量化的性能红利高度依赖硬件架构。H100或undefined在底层指令集上原生支持FP8运算，能够实现真正的硬件加速；而其他架构则难以发挥其全部潜力。对于拥有H100资源的架构师而言，迁移至FP8量化是提升单机QPS最快速的路径。

在社区层面，有开发者通过GitHub项目（如sebastianmechno-sys/vllm-rocm-windows-rdna2）扩展了FP8支持范围，使AMD Radeon RX 6000系列（RDNA2）在Windows 11上也能获得一定程度的runtime加速。尽管这部分支持尚未达到H100级别的原生优化，但为更多硬件平台的用户提供了尝试FP8量化的可能性。

推理框架的竞争已悄然转移：从算子优化（如FlashAttention）向对数据格式的极致压榨。FP8的普及标志着大模型推理正从“能跑通”迈向“低成本大规模商业化”。在不牺牲逻辑能力的前提下，通过降低位宽对冲算力成本，FP8为追求极致性价比的架构师提供了新的思路。未来，在低位宽下保持强大推理能力，将成为成本竞争的主动权所在。