文章详情

微调后模型上线运维指南

监控指标 指标 告警阈值 监控方式 GPU利用率 <50% 或 >98% nvidia-smi 推理延迟(P99) >5s API日志 错误率 >1% API日志 显存使用 >95% nvidia-smi 吞吐量 <500 t/s 压测工具 日志记录 模型版本管理 回滚方案

8 阅读