文章详情

SFT训练深度调参指南

学习率选择 学习率是最关键的超参数。 微调方式 推荐LR 范围 LoRA 2e-4 1e-4 ~ 5e-4 QLoRA 2e-4 1e-4 ~ 5e-4 全量微调 5e-6 1e-6 ~ 2e-5 DPO 5e-7 1e-7 ~ 5e-6 PPO 1e-6 5e-7 ~ 5e-6 继续预训练 5e-5 1e-5 ~ 1e-4 LR太大症状：Loss震荡不收敛

3 阅读