文章详情

进阶技巧

12.1 多任务微调 同时微调多个任务，注意数据配比： 配比建议： - 主任务60-70% - 辅助任务20-30% - 通用数据10% 或者用独立LoRA适配器，推理时按需加载。 12.2 长上下文微调 默认模型上下文4K，如果需要更长： 注意：cutoff_len翻倍，显存消耗也翻倍。7B模型8K上下文QLoRA约需24GB。 12.3 继续预训练 在领

4 阅读