文章详情

微调各阶段最佳实践总结

SFT阶段 要素 最佳实践 常见错误 数据量 3K-10K高质量 追求10万+低质量 数据质量 人工审核+清洗 只用AI生成不审核 数据格式 严格匹配template 格式混乱 LR 2e-4(LoRA) 1e-3太大 Epochs 2-3 5-10过拟合 Rank 32(默认) 4太小 Loss mask 只对response算 对全部算 DPO阶段 要素

3 阅读