知识卡片
PEFT的四种改法
共同前提:主干冻结,只训练一小块新增结构。差别在于加在哪里、加什么。
| 方法 | 加在哪 | 可训练对象 | 代价 |
|---|---|---|---|
| 软提示 | 输入嵌入之前 | 一段提示张量 | 占序列长度 |
| 前缀调优 | 每个 Transformer 块前 | 每层前缀张量 | 层数×前缀长 |
| 适配器 | 注意力/前馈之后 | 低维瓶颈全连接 | 推理多一层 |
| LoRA | 权重旁路 | 低秩分解矩阵 | 秩 r 的选择 |
LoRA 是关键一步:把权重更新写成 ΔW = W_A·W_B,其中 W_A 为 d×r、W_B 为 r×k,r 远小于 d、k。书中例子:25×50 的更新矩阵有 1250 个参数,取 r=5 后只剩 125+250=375 个。前向为 h = xW + x(W_A W_B)·scalar,scalar 调节预训练知识与新任务适配的比例。
为什么有效:任务适配所需的改动往往落在低维子空间里,用低秩近似就能覆盖大部分信息;训练完可把 W_A W_B 合并回 W,推理不增加延迟。代价:秩太小欠拟合、太大失去省参意义;合并后不便在同一份权重上切换多任务。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 使用和微调预训练Transformer · 查看原书依据
低秩自适应(LoRA)是另一种值得考虑且流行的参数高效的微调方法,它是指用低秩变换对预训练大模型的权重进行重新参数化。
参考来源
- 位置:《大模型技术30讲》第18讲 使用和微调预训练Transformer(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0024.xhtml)
- 结论依据:18.3 节与图18-5~18-7、代码清单18-1/18-2:介绍软提示、前缀调优、适配器与 LoRA 的位置与参数效率,并给出 1250 个参数降为 375 个的例子与缩放因子。
- 原始内容:低秩自适应(LoRA)是另一种值得考虑且流行的参数高效的微调方法,它是指用低秩变换对预训练大模型的权重进行重新参数化。