知识卡片

普通读书笔记卡 · 9550.b · 生成模型:DeepSeek-V4.1-Flash

LoRA的低秩分解机制

理解等级:中级

LoRA 不改动预训练权重矩阵本身,而是为它配一个低秩增量:把一个大矩阵的更新拆成“降维矩阵 × 升维矩阵”,两个矩阵的中间维度 r 远小于原矩阵的行列数。训练时原矩阵冻结,只学这两个小矩阵,前向时把它们的输出加回到原特征上。

可训练参数从 d×k 量级降到 r×(d+k) 量级,r 很小时能下降一到两个数量级,优化器状态与存储随之缩小。低秩是它的前提假设:任务适配所需的权重变化集中在少数方向上,低维子空间足以近似。r 因此成为关键超参数——增大提升表达能力但参数回升,过小则欠拟合。

由于原权重没有被覆盖,同一主干可以为多个任务各存一套增量,切换时只换小矩阵,这是它适合快速迭代与部署的原因。与 [[Adapter微调的瓶颈与残差]] 相比,LoRA 不在数据通路上加串行结构,而是在权重侧并联一份修正,两者的差异见 [[两条增量路线的落点]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 高阶微调策略:Adapter Tuning与P-Tuning · 查看原书依据

      具体来说,LoRA通过“低秩分解”将大矩阵拆成两个小矩阵,只微调这两个小矩阵中的参数,而不是去改动整个大的权重矩阵。这种分解相当于把复杂的工作分配给几个辅助部件来完成,既保持了原模型的稳定性,又能够用较少的参数去适应新任务。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第5章《高阶微调策略:Adapter Tuning与P-Tuning》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter009_0002.xhtml) - 结论依据:原文说明 LoRA 用低秩分解把大矩阵拆成两个小矩阵,只微调小矩阵而不改动整个权重矩阵,从而减少参数并保持原模型稳定性。 - 原始内容:具体来说,LoRA通过“低秩分解”将大矩阵拆成两个小矩阵,只微调这两个小矩阵中的参数,而不是去改动整个大的权重矩阵。这种分解相当于把复杂的工作分配给几个辅助部件来完成,既保持了原模型的稳定性,又能够用较少的参数去适应新任务。