文章详情
LoRA+（新方法） LoRA+对A和B使用不同的学习率，B的学习率是A的16倍： 效果：相同训练时间下比标准LoRA效果好2-5%。 rsLoRA（秩稳定LoRA） 用alpha/sqrt(rank)替代alpha/rank作为缩放因子： rsLoRA的优势：大rank时更稳定，不会因为rank增大而过度缩放。 DoRA（权重分解LoRA） 将权重分解为幅
3 阅读
请输入邀请码解锁全文内容