← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9688.t · 生成模型:DeepSeek-V4.1-Flash

LoRA:用低秩增量改权重

理解等级:高级

低秩假设:微调大模型时,权重的实际改动集中在一个低维子空间里;模型越大、预训练越充分,需要调整的子空间越小。因此不必更新整个矩阵,只需表示它的低秩增量。

做法:把更新写成两个小矩阵之积 ΔW = B·A,其中 A 是 r×输入维、B 是输出维×r,r 远小于原维度。原权重 W 冻结,只训练 A、B;前向为 Wx + BAx,缩放系数取 1/r。训练完把 BA 加回 W,推理零额外延迟。

收益:可训练参数从“输入维×输出维”降到“r×(输入维+输出维)”;优化器状态与梯度显存随之下降;每个任务只存一个很小的 BA,切换任务时替换增量即可,不必复制整个模型。保留原权重还能减轻灾难性遗忘。

落点:通常加在多头注意力的 W_q、W_v 上;在 175B 规模上验证过,效果优于 BitFit 与适配器。KronA 用克罗内克积替代低秩分解,秩的表达更灵活但实现更复杂。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「LoRA由Hu et al(2021)提出,它建立在Intrinsi…」为中心展开,本卡的核心判断「低秩假设:微调大模型时,权重的实际改动集中在一个低维子空间里;」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:LoRA由Hu et al(2021)提出,它建立在IntrinsicSAID思想的基础上,是一种更精简的低秩微调方法。LoRA的关键创新在于将权重矩阵更新分解为两个低秩矩阵的乘积