文章详情

全量微调

6.1 什么时候需要全量微调 大多数场景LoRA/QLoRA就够了。以下情况考虑全量微调： 任务非常复杂（如多语言翻译+代码生成+推理） 数据量很大（>100K条） 需要最强的效果 有充足的GPU资源 6.2 DeepSpeed ZeRO配置 6.3 DeepSpeed ZeRO三级对比 级别 切分内容 显存节省 通信开销 推荐场景 ZeRO-

3 阅读