← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9688.s · 生成模型:DeepSeek-V4.1-Flash

IA3:三个缩放向量

理解等级:中级

IA3 不插入新层,也不改权重矩阵,而是学三个向量,分别对键(key)、值(value)和前馈网络中间激活做逐元素缩放。每个 Transformer 模块只训练这 3 个向量。

效果:在 T0-3B 上只更新约 0.02% 的参数,性能却优于参数规模相近的 Compacter,也优于可训练参数多 16 倍的 LoRA。

为什么省:缩放是逐元素的,参数量只与维度成正比;键、值上的缩放可在推理前合并进对应线性层,几乎不增加计算,唯一残留开销来自前馈激活上的缩放。这让它比串行插入的适配器更适合多任务部署。

定位:它属于“基于添加”但极度克制的一类——加的不是模块而是调制系数;也是 T-Few 多任务微调方案的核心组件。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「他们提出的方法称为(IA)3,该方法学习新的参数l、l和l,它们充当…」为中心展开,本卡的核心判断「IA3 不插入新层,也不改权重矩阵,而是学三个向量,分别对键(key)、值(value)和前馈网络中间激活做逐元素缩放。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:他们提出的方法称为(IA)3,该方法学习新的参数l、l和l,它们充当键、值和隐藏前馈网络的激活。通过针对每个Transformer模块仅训练这3个参数,该方法实现了显著的参数效率。