文章详情

训练日志解读

正常日志模式 正常特征：Loss持续下降，Speed稳定，GPU>80% 异常日志模式 Loss飙升后恢复→数据中有异常样本，跳过即可 Loss不降反升 →LR太大或数据有问题GPU利用率<50% → 数据加载是瓶颈，用preload_to_memory Speed越来越慢 → 显存碎片，重启训练

4 阅读