知识卡片
两条增量路线的落点
两种方法都在冻结主干的前提下加增量,但增量的落点不同,决定了它们各自的代价结构。
Adapter 是串联式:插在子层输出之后,先压缩再还原,结果与子层输出相加后整体流入下一层。它改变的是“流经该层的数据”,因此能对特征做非线性重塑,但前向必须多走一段串行计算,层数越多开销越明显。
LoRA 是并联式:旁路两个低秩矩阵,把计算结果加回原特征,主干通路形状不变。它只做线性修正,不重塑特征,但增量可以单独保存、按任务替换,不必改动模型结构图。
选型时看三条:是否需要非线性变换、能否接受串行延迟、增量是否要独立管理。需要强适配且不介意结构改动,倾向 Adapter;要多任务共用主干、快速切换,倾向 LoRA。这与 [[四条高效微调路线]] 中按“增量位置”排序的思路一致,具体机制见 [[Adapter微调的瓶颈与残差]] 与 [[LoRA的低秩分解机制]]。
结构图:
flowchart LR
A[子层输出h] --> B[Adapter瓶颈]
B --> C[串联相加]
A --> D[LoRA降维]
D --> E[LoRA升维]
E --> F[加回原特征]
C --> G[送入下一层]
F --> G
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 高阶微调策略:Adapter Tuning与P-Tuning · 查看原书依据
(2)BertWithLoRA模型:在BERT的每一层中增加LoRA模块,将更新后的特征加回到原特征中,实现对输入特征的高效微调。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第5章《高阶微调策略:Adapter Tuning与P-Tuning》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter009_0002.xhtml)
- 结论依据:原文说明 LoRA 在每一层增加模块后把更新特征加回原特征,与 Adapter 在层间串接、修正后再传递的结构形成并联与串联之别。
- 原始内容:(2)BertWithLoRA模型:在BERT的每一层中增加LoRA模块,将更新后的特征加回到原特征中,实现对输入特征的高效微调。