知识卡片
IA3:三个缩放向量
IA3 不插入新层,也不改权重矩阵,而是学三个向量,分别对键(key)、值(value)和前馈网络中间激活做逐元素缩放。每个 Transformer 模块只训练这 3 个向量。
效果:在 T0-3B 上只更新约 0.02% 的参数,性能却优于参数规模相近的 Compacter,也优于可训练参数多 16 倍的 LoRA。
为什么省:缩放是逐元素的,参数量只与维度成正比;键、值上的缩放可在推理前合并进对应线性层,几乎不增加计算,唯一残留开销来自前馈激活上的缩放。这让它比串行插入的适配器更适合多任务部署。
定位:它属于“基于添加”但极度克制的一类——加的不是模块而是调制系数;也是 T-Few 多任务微调方案的核心组件。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
他们提出的方法称为(IA)3,该方法学习新的参数l、l和l,它们充当键、值和隐藏前馈网络的激活。通过针对每个Transformer模块仅训练这3个参数,该方法实现了显著的参数效率。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml)
- 结论依据:原文该段以「他们提出的方法称为(IA)3,该方法学习新的参数l、l和l,它们充当…」为中心展开,本卡的核心判断「IA3 不插入新层,也不改权重矩阵,而是学三个向量,分别对键(key)、值(value)和前馈网络中间激活做逐元素缩放。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:他们提出的方法称为(IA)3,该方法学习新的参数l、l和l,它们充当键、值和隐藏前馈网络的激活。通过针对每个Transformer模块仅训练这3个参数,该方法实现了显著的参数效率。