知识卡片

结构图卡 · 9550.c · 生成模型:DeepSeek-V4.1-Flash

两条增量路线的落点

理解等级:高级

两种方法都在冻结主干的前提下加增量,但增量的落点不同,决定了它们各自的代价结构。

Adapter 是串联式:插在子层输出之后,先压缩再还原,结果与子层输出相加后整体流入下一层。它改变的是“流经该层的数据”,因此能对特征做非线性重塑,但前向必须多走一段串行计算,层数越多开销越明显。

LoRA 是并联式:旁路两个低秩矩阵,把计算结果加回原特征,主干通路形状不变。它只做线性修正,不重塑特征,但增量可以单独保存、按任务替换,不必改动模型结构图。

选型时看三条:是否需要非线性变换、能否接受串行延迟、增量是否要独立管理。需要强适配且不介意结构改动,倾向 Adapter;要多任务共用主干、快速切换,倾向 LoRA。这与 [[四条高效微调路线]] 中按“增量位置”排序的思路一致,具体机制见 [[Adapter微调的瓶颈与残差]] 与 [[LoRA的低秩分解机制]]。

结构图:

flowchart LR
    A[子层输出h] --> B[Adapter瓶颈]
    B --> C[串联相加]
    A --> D[LoRA降维]
    D --> E[LoRA升维]
    E --> F[加回原特征]
    C --> G[送入下一层]
    F --> G
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第5章《高阶微调策略:Adapter Tuning与P-Tuning》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter009_0002.xhtml) - 结论依据:原文说明 LoRA 在每一层增加模块后把更新特征加回原特征,与 Adapter 在层间串接、修正后再传递的结构形成并联与串联之别。 - 原始内容:(2)BertWithLoRA模型:在BERT的每一层中增加LoRA模块,将更新后的特征加回到原特征中,实现对输入特征的高效微调。