知识卡片

普通读书笔记卡 · 9550 · 生成模型:DeepSeek-V4.1-Flash

Adapter微调的瓶颈与残差

理解等级:中级

Adapter Tuning 在预训练模型的层与层之间插入一个很小的瓶颈模块,训练时只更新这个模块,主干权重全部冻结。瓶颈由两级线性变换构成:down_project 先把高维特征压到低维,经过激活后再由 up_project 升回原维度;模块输出与原始特征相加,形成残差。

压缩—还原的结构把可训练参数限制在低维子空间里,新增参数量只占主干很小比例,因此显存、存储与多任务切换成本都很低。残差的作用是兜底:训练初期模块接近无效时,输出约等于原特征,模型行为不会突然偏离预训练状态;训练之后,修正量也只是叠加在原表征之上。

两个边界值得注意。其一,瓶颈宽度决定容量上限,维度过小则任务差异学不充分,过大则参数优势消失。其二,Adapter 插在数据通路上,属于串行结构,前向要多走一段计算,层数越深累积越明显。它走的是“改结构”路线,与 [[LoRA的低秩分解机制]] 的“改权重增量”形成对照。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第5章《高阶微调策略:Adapter Tuning与P-Tuning》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter009_0001.xhtml) - 结论依据:原文指出 Adapter 以瓶颈结构压缩再扩展特征,只需少量参数即可微调,并用残差连接保留原始特征的稳定性;训练循环仅更新 Adapter 参数。 - 原始内容:(1)Adapter模块:Adapter类定义了一个瓶颈结构,通过down_project和up_project层分别压缩和扩展输入特征,使得模型只需要少量参数便可完成微调,且通过残差连接保留原始特征的稳定性。