文章详情

模型推理性能优化

vLLM性能调优 vLLM性能参考（7B模型，A100-80GB） 配置 吞吐量(tokens/s) 延迟(P50) 单卡基础 2000-3000 50ms 单卡优化 4000-5000 40ms 2卡TP 7000-9000 35ms KV Cache优化 KV Cache vLLM 0.4+ --kv-cache-dtype fp8_e5m2 # FP8

3 阅读