文章详情

推理部署

11.1 vLLM部署微调模型 vLLM是当前最推荐的生产级推理方案。 vLLM vLLM关键参数 参数 推荐值 说明 gpu-memory-utilization 0.85-0.90 不要设100%会OOM max-model-len 4096/8192 根据需求设,太大占显存 dtype auto 自动选择BF16/FP16 tensor-paralle

3 阅读