文章详情

模型合并与导出

10.1 LoRA权重合并 训练完成后的LoRA权重需要合并回基础模型才能独立使用。 合并原理：W_new = W + (alpha/rank) * B * A 合并后模型与原始模型格式相同，可以像原始模型一样使用。 10.2 量化导出 GPTQ量化 GPTQ需要校准数据集来计算量化参数，约128条即可。 AWQ量化 AWQ vs GPTQ： - AWQ更快

3 阅读