知识卡片
LoRA:用低秩增量改权重
低秩假设:微调大模型时,权重的实际改动集中在一个低维子空间里;模型越大、预训练越充分,需要调整的子空间越小。因此不必更新整个矩阵,只需表示它的低秩增量。
做法:把更新写成两个小矩阵之积 ΔW = B·A,其中 A 是 r×输入维、B 是输出维×r,r 远小于原维度。原权重 W 冻结,只训练 A、B;前向为 Wx + BAx,缩放系数取 1/r。训练完把 BA 加回 W,推理零额外延迟。
收益:可训练参数从“输入维×输出维”降到“r×(输入维+输出维)”;优化器状态与梯度显存随之下降;每个任务只存一个很小的 BA,切换任务时替换增量即可,不必复制整个模型。保留原权重还能减轻灾难性遗忘。
落点:通常加在多头注意力的 W_q、W_v 上;在 175B 规模上验证过,效果优于 BitFit 与适配器。KronA 用克罗内克积替代低秩分解,秩的表达更灵活但实现更复杂。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
LoRA由Hu et al(2021)提出,它建立在IntrinsicSAID思想的基础上,是一种更精简的低秩微调方法。LoRA的关键创新在于将权重矩阵更新分解为两个低秩矩阵的乘积
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml)
- 结论依据:原文该段以「LoRA由Hu et al(2021)提出,它建立在Intrinsi…」为中心展开,本卡的核心判断「低秩假设:微调大模型时,权重的实际改动集中在一个低维子空间里;」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:LoRA由Hu et al(2021)提出,它建立在IntrinsicSAID思想的基础上,是一种更精简的低秩微调方法。LoRA的关键创新在于将权重矩阵更新分解为两个低秩矩阵的乘积