文章详情

LoRA微调数学原理详解

为什么LoRA有效 原始微调： LoRA的假设：delta_W是低秩的，可以分解为delta_W = B*A 证明直觉：1.预训练模型已经学到了大部分知识 2.微调只需要少量调整 3. 调整本身可以用低秩矩阵近似4.实验验证：微调的delta_W的奇异值衰减很快，确实低秩 数学推导 给定输入x，原始前向传播： y = Wx LoRA前向传播： 其中： - W

3 阅读