FP8 量化让 DeepSeek-V3 的 8 卡 H100 部署降维到单机可行

DeepSeek-V3 的规模使得私有化部署在未量化时几乎无法实现——除非配备超大规模的硬件集群。但在 vLLM 的 FP8 优化下，模型权重占用降至约 670GB，精度损失可忽略，而推理成本却直接减半，将 8 张 NVIDIA A100-PCIE-80GB 的压力从“两台机器勉强应对”降低到“单机可行”。不过，单机部署时 KV Cache 的空间极为有限，若部署场景需要高并发，则必须通过 --max-model-len 参数限制上下文长度，否则 OOM 风险立即显现。

FP8 Tensor Core 的算力优势在吞吐率上体现尤为明显。vLLM 利用 H100 的 FP8 Tensor Core 对算子进行了优化，使得 FP8 模式下的延迟低于 BF16，在相同请求率下，单位时间内处理的 tokens/s 提升了 40%-60%。这意味着单次推理响应时间缩短，并发处理能力提升，有效缓解了超大模型业务排队压力。同时，FP8 的资源利用率优势也降低了对 KV Cache 量化的依赖——仅量化权重而未量化 KV Cache 时，显存仍可能成为瓶颈。

启动 FP8 部署时，需要明确指定相关参数，例如：

python -m vllm.entrypoints.openai.api_server \
 --model deepseek-ai/DeepSeek-V3 \
 --quantization fp8 \
 --tensor-parallel-size 8 \
 --max-model-len 32768 \
 --gpu-memory-utilization 0.95

FP8 量化方案正在逐步成为超大模型部署的工业标准。其优势在于既避开了 INT8 带来的精度损失，又比 BF16 更高效地利用硬件资源。在 FP8 及更低量化级别下，部署重点已不再是“采用全精度或否”，而是如何通过调整 vLLM 的 block_size 和 gpu_memory_utilization，让硬件性能得到最大化释放。

对于规模如此庞大的模型，精度、显存占用和吞吐速度之间的平衡始终是核心挑战。FP8 为 DeepSeek-V3 提供了更实际的私有化路径，也让基于 MoE 结构的超大模型商业化计算变得更加可行。