知识卡片
参数高效微调对照表
| 方法 | 改哪一部分 | 可训练参数 | 推理开销 | 备注 |
|---|---|---|---|---|
| 全参微调 | 全部权重 | 100% | 无 | 每个任务存一份完整模型 |
| 适配器 | 层间插入瓶颈模块 | 不到 4% | 有,串行插层 | 只插自注意力层也可 |
| 提示调优 | 输入嵌入前的软提示 | 约 0.002% 起 | 提示变长,注意力成本升 | 百亿参数级才追平全参 |
| 前缀调优 | 每层隐藏状态的前缀 | 约 0.1% | 前缀占上下文 | 需前馈网络参数化以稳定训练 |
| IA3 | 键/值/前馈激活的缩放向量 | 约 0.02% | 近乎为零 | 可合并进线性层 |
| LoRA | 权重上的低秩增量 BA | 由秩 r 决定 | 合并后为零 | 多任务只存增量 |
| BitFit | 只训偏置 b | 约 0.05% | 无 | 小模型、中低数据可媲美全参;超大模型不足 |
| FishMask | 按费雪信息选前 p 个参数 | 可调 | 无 | 稀疏算子支持差,实际很慢 |
| FAR | 结构化选行 + 重配 FFN | 约 6% | 训练有开销,推理可消除 | 面向 DistilBERT 等压缩模型 |
| MAM 适配器 | 并行适配器 + 软提示 | 约 7% | 有 | 小模型上优于 LoRA/适配器/前缀 |
| Compacter | 克罗内克积参数化适配器 | 约 0.8% | 有 | 与适配器持平或更好 |
| S4 | 分层分组、各组配不同方法 | 约 0.5% | 视组合而定 | 自动搜索设计空间 |
读表要点:“改哪里”决定推理能否零开销——能合并进原权重的(LoRA、IA3 的键值部分)适合线上;串行插层的(适配器)适合离线或多任务批处理;只调少量已有参数的(BitFit、FishMask)实现最简单,但在超大模型上容易掉队。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
本质上,这种方法涉及保持线性层或卷积层的权重矩阵W不变,仅优化偏置向量b。使用BitFit,只须更新0.05%的模型参数。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml)
- 结论依据:原文该段以「本质上,这种方法涉及保持线性层或卷积层的权重矩阵W不变,仅优化偏置向…」为中心展开,本卡的核心判断「| 方法 | 改哪一部分 | 可训练参数 | 推理开销 | 备注 | | ---」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:本质上,这种方法涉及保持线性层或卷积层的权重矩阵W不变,仅优化偏置向量b。使用BitFit,只须更新0.05%的模型参数。