文章详情

LoRA微调实战

4.1 LoRA原理速览 LoRA（Low-Rank Adaptation）的核心假设：微调的权重更新是低秩的。 原始权重W[d,d]，LoRA将其分解为：W_new = W + B*A，其中B[d,r] A[r,d]，r远小于d。 以7B模型为例：-原始参数：d=4096，单个线性层参数量40964096*16=131K，仅为原参数的0.8% - 全模型可

3 阅读