知识卡片
四条高效微调路线
四条路线可以按“增量加在哪里”排成一条谱:Adapter 加在层间,LoRA 加在权重旁,Prompt Tuning 与 P-Tuning 加在输入端。越靠左越接近模型内部,容量大、可塑性强,但要改动结构或增加挂载点;越靠右越靠近输入,参数少、切换便宜,却受输入长度与提示容量限制。
| 方法 | 增量位置 | 可训练参数 | 主要限制 |
|---|---|---|---|
| Adapter | 子层之后串联 | 瓶颈模块 | 串行开销、结构改动 |
| LoRA | 权重旁并联 | 低秩矩阵 | 秩的选择 |
| Prompt Tuning | 输入序列前 | 提示嵌入 | 容量小 |
| P-Tuning | 输入序列中 | 提示序列 | 长度与参数量 |
共同前提一致:冻结预训练权重,只训练新增的小参数集,把每个任务的存储成本压到很低。选择时问三件事——任务与预训练分布差多远、是否要一套主干挂多任务、推理能否接受额外结构。差异越大越需要内部增量,多任务并存更看重增量可分离,提示类方法在少样本试验中最省事。参见 [[两条增量路线的落点]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 高阶微调策略:Adapter Tuning与P-Tuning · 查看原书依据
Adapter Tuning通过插入适配器模块实现参数轻量化微调;LoRA Tuning则利用低秩分解优化矩阵表示,减少微调参数规模;Prompt Tuning和P-Tuning通过可训练的提示序列,提升大模型对任务的理解和适应能力。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第5章《高阶微调策略:Adapter Tuning与P-Tuning》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter009_0004.xhtml)
- 结论依据:本章小结逐一概括四种方法的作用方式与降低资源消耗的共同效果,为按增量位置分类提供了直接依据。
- 原始内容:Adapter Tuning通过插入适配器模块实现参数轻量化微调;LoRA Tuning则利用低秩分解优化矩阵表示,减少微调参数规模;Prompt Tuning和P-Tuning通过可训练的提示序列,提升大模型对任务的理解和适应能力。