知识卡片
适配器:窄瓶颈插层
在 Transformer 的注意力层与前馈网络(FFN)之后插入一个小型全连接模块:先降维再升维,中间维度远小于输入维度,形成瓶颈。训练时冻结原模型,只更新适配器。
参数效率:不到总参数的 4% 就能达到有竞争力的效果。后续发现只在自注意力层(归一化之后)插一个适配器,效果与每个模块插两个相近,进一步省参数。
AdaMix:把适配器做成专家混合——每层含一组专家,每次前向只激活一小部分;与常规 MoE 用路由网络加权不同,它随机选专家,且上、下投影独立选择。训练完把所有专家权重平均,推理只留一份,省显存;再用对称 KL 一致性正则稳定“选到不同专家”时的输出。
代价:适配器串行插在主干里,推理时无法完全消失,会带来额外延迟与显存;AdaMix 训练时还要保存两套专家前向的激活与梯度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
与Transformer的FFN模块不同,适配器的隐藏维度通常比输入维度小。尽管维度缩小了,但适配器却表现出令人印象深刻的参数效率,表明只需要不到4%的模型总参数就可以实现具有竞争力的性能。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml)
- 结论依据:原文该段以「与Transformer的FFN模块不同,适配器的隐藏维度通常比输入…」为中心展开,本卡的核心判断「在 Transformer 的注意力层与前馈网络(FFN)之后插入一个小型全连接模块:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:与Transformer的FFN模块不同,适配器的隐藏维度通常比输入维度小。尽管维度缩小了,但适配器却表现出令人印象深刻的参数效率,表明只需要不到4%的模型总参数就可以实现具有竞争力的性能。