← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9550.i · 生成模型:DeepSeek-V4.1-Flash

四条高效微调路线

理解等级:高级

四条路线可以按“增量加在哪里”排成一条谱:Adapter 加在层间,LoRA 加在权重旁,Prompt Tuning 与 P-Tuning 加在输入端。越靠左越接近模型内部,容量大、可塑性强,但要改动结构或增加挂载点;越靠右越靠近输入,参数少、切换便宜,却受输入长度与提示容量限制。

方法 增量位置 可训练参数 主要限制
Adapter 子层之后串联 瓶颈模块 串行开销、结构改动
LoRA 权重旁并联 低秩矩阵 秩的选择
Prompt Tuning 输入序列前 提示嵌入 容量小
P-Tuning 输入序列中 提示序列 长度与参数量

共同前提一致:冻结预训练权重,只训练新增的小参数集,把每个任务的存储成本压到很低。选择时问三件事——任务与预训练分布差多远、是否要一套主干挂多任务、推理能否接受额外结构。差异越大越需要内部增量,多任务并存更看重增量可分离,提示类方法在少样本试验中最省事。参见 [[两条增量路线的落点]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第5章《高阶微调策略:Adapter Tuning与P-Tuning》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter009_0004.xhtml) - 结论依据:本章小结逐一概括四种方法的作用方式与降低资源消耗的共同效果,为按增量位置分类提供了直接依据。 - 原始内容:Adapter Tuning通过插入适配器模块实现参数轻量化微调;LoRA Tuning则利用低秩分解优化矩阵表示,减少微调参数规模;Prompt Tuning和P-Tuning通过可训练的提示序列,提升大模型对任务的理解和适应能力。