知识卡片
Adapter插在层间何处
Adapter 插在哪里,决定了它调节的是哪一段信息流。常见做法是在每个 Transformer 层的输出之后接一个 Adapter:该层先算出特征,Adapter 对这份特征做小幅修正,修正结果再与原子层输出相加,然后传递给下一层。
这样安排的好处是职责清晰。每个 Adapter 只面对本层已经提取好的表征,任务适配被拆成许多局部小修正,而不是在输入端一次性完成;主干结构不动,插件可以按需增减。位置越靠后,Adapter 调整的语义越抽象;插入的层数越多,参数与串行延迟同步上升。
工程上还要决定各层是否共享同一组 Adapter。共享能进一步压缩参数,但所有层被迫用同一套修正逻辑,表达能力受限;每层独立则灵活,代价是参数随深度线性增长。这条取舍与 [[Adapter微调的瓶颈与残差]] 中的瓶颈宽度共同决定容量,也影响 [[四条高效微调路线]] 里“改哪里”的判断。
结构图:
flowchart TD
A[上一层输出] --> B[Transformer子层]
B --> C[Adapter降维层]
C --> D[非线性激活]
D --> E[Adapter升维层]
B --> F[残差直连]
E --> G[逐元素相加]
F --> G
G --> H[送入下一层]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 高阶微调策略:Adapter Tuning与P-Tuning · 查看原书依据
(1)组件式微调:在模型每层的输出后面插入一个Adapter模块,Adapter模块接收模型的输出并进行小幅度调整,然后将结果传递到模型的下一层。这就像在每个流程的关键步骤加装一个小装置,可以优化整个工作流程,而不改变主设备。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第5章《高阶微调策略:Adapter Tuning与P-Tuning》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter009_0001.xhtml)
- 结论依据:原文把 Adapter 描述为在每层输出后面插入的小模块,接收模型输出并做小幅度调整后传给下一层,且强调不改动原有的大量参数。
- 原始内容:(1)组件式微调:在模型每层的输出后面插入一个Adapter模块,Adapter模块接收模型的输出并进行小幅度调整,然后将结果传递到模型的下一层。这就像在每个流程的关键步骤加装一个小装置,可以优化整个工作流程,而不改变主设备。