← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9688.u · 生成模型:DeepSeek-V4.1-Flash

参数高效微调对照表

理解等级:中级
方法 改哪一部分 可训练参数 推理开销 备注
全参微调 全部权重 100% 无 每个任务存一份完整模型
适配器 层间插入瓶颈模块 不到 4% 有,串行插层 只插自注意力层也可
提示调优 输入嵌入前的软提示 约 0.002% 起 提示变长,注意力成本升 百亿参数级才追平全参
前缀调优 每层隐藏状态的前缀 约 0.1% 前缀占上下文 需前馈网络参数化以稳定训练
IA3 键/值/前馈激活的缩放向量 约 0.02% 近乎为零 可合并进线性层
LoRA 权重上的低秩增量 BA 由秩 r 决定 合并后为零 多任务只存增量
BitFit 只训偏置 b 约 0.05% 无 小模型、中低数据可媲美全参;超大模型不足
FishMask 按费雪信息选前 p 个参数 可调 无 稀疏算子支持差,实际很慢
FAR 结构化选行 + 重配 FFN 约 6% 训练有开销,推理可消除 面向 DistilBERT 等压缩模型
MAM 适配器 并行适配器 + 软提示 约 7% 有 小模型上优于 LoRA/适配器/前缀
Compacter 克罗内克积参数化适配器 约 0.8% 有 与适配器持平或更好
S4 分层分组、各组配不同方法 约 0.5% 视组合而定 自动搜索设计空间

读表要点:“改哪里”决定推理能否零开销——能合并进原权重的(LoRA、IA3 的键值部分)适合线上;串行插层的(适配器)适合离线或多任务批处理;只调少量已有参数的(BitFit、FishMask)实现最简单,但在超大模型上容易掉队。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「本质上,这种方法涉及保持线性层或卷积层的权重矩阵W不变,仅优化偏置向…」为中心展开,本卡的核心判断「| 方法 | 改哪一部分 | 可训练参数 | 推理开销 | 备注 | | ---」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:本质上,这种方法涉及保持线性层或卷积层的权重矩阵W不变,仅优化偏置向量b。使用BitFit,只须更新0.05%的模型参数。