vLLM 引入 FP8 量化 大幅降低显存占用并提升吞吐

在极致吞吐的推理场景里，显存和计算带宽始终相互制约。vLLM 正式支持 FP8 量化，使得在生产环境部署大模型时，显存压力得到明显缓解。过去常在 FP16 与 BF16 之间切换，模型规模扩大后显存瓶颈愈发突出，而 FP8 以 8 位浮点形式填补了高性能与高精度之间的空缺。

开发者在尝试量化时，往往在 INT8 与 FP16 之间犹豫。INT8 能显著压缩显存，却因定点表示导致精度急剧下降，并且需要额外的校准数据进行感知训练。相较之下，FP8 以更宽的动态范围保存权重分布，能够在几乎不损失精度的前提下，将显存占用削减约一半。

实际并发运行时，KV Cache 往往是显存的主要消耗者。高 QPS 场景下，KV Cache 快速占满剩余显存，限制了 Batch Size 的提升，进而压制整体吞吐。FP8 量化对 KV Cache 进行瘦身，使单卡能够容纳更大的 Batch Size。若此前因显存不足而采用多卡张量并行（TP），开启 FP8 后可尝试将模型收回单卡运行，从而省去跨卡通信开销并降低延迟。

硬件适配方面，更新聚焦 NVIDIA H100 与 L40S 等新一代显卡。随着 Blackwell 架构的普及，FP8 预计将成为大模型推理的主流格式。vLLM 此次快速迭代实际上为未来硬件生态做了前瞻性铺垫。

在使用层面，FP8 的开启门槛被降至仅需在启动命令中加入相应参数，无需额外的模型转换或量化脚本。示例命令如下：

python -m vllm.entrypoints.openai.api_server \
    --model facebook/opt-125m \
    --quantization fp8

当同时满足显存仍紧张且希望进一步提升吞吐时，建议在启用 FP8 后观察 KV Cache 的占比；若 KV Cache 已经占据绝大部分显存而 Batch Size 仍受限，则只能通过增加卡数或采用更高效的调度策略来突破瓶颈。

vLLM 提供即插即用的 OpenAI-compatible API，能够快速对接现有系统。配合 PagedAttention，可在保持高吞吐的同时实现细粒度的注意力分页。高级调度与连续批处理机制确保 GPU 利用率始终保持在峰值。通过最大化硬件效率，降低推理成本，使高性能大语言模型更加平价可及。快速入门只需选择偏好并执行安装指令，当前稳定版是经过充分测试的版本，若需要最新特性也可切换至 Nightly 构建。更多细节可参考项目说明页面的实现概述。