知识卡片
微调I与微调II的取舍
微调I:在冻结的主干上添加一个或多个输出层,只更新这些新层的参数,梯度不必穿透整个网络,显存与吞吐压力都小。微调II:同样加输出头,但反向传播穿透所有层,更新全部参数。
| 维度 | 微调I | 微调II |
|---|---|---|
| 可训练参数 | 仅输出层 | 全部 |
| 反向传播范围 | 末端 | 全网 |
| 成本 | 低 | 最高 |
| 领域适配能力 | 弱 | 强 |
| 遗忘风险 | 几乎无 | 有 |
取舍逻辑:任务与预训练分布接近时,微调I 常常够用,多花的算力买不到相应精度;领域差异大或数据专业时,只有让中间层也调整才能提升,此时微调II 值得。代价是过拟合与灾难性遗忘——通常要用更小学习率、更少轮次,或混入通用数据来缓解。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 使用和微调预训练Transformer · 查看原书依据
微调I类似于前面介绍的基于特征的方法,但它为大模型本身添加了一个或多个输出层。大模型的核心部分保持“冻结”状态
参考来源
- 位置:《大模型技术30讲》第18讲 使用和微调预训练Transformer(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0024.xhtml)
- 结论依据:18.1 节:区分微调I(只更新输出层、核心冻结、成本低)与微调II(更新所有层、成本最高、在专业领域数据上通常更好)。
- 原始内容:微调I类似于前面介绍的基于特征的方法,但它为大模型本身添加了一个或多个输出层。大模型的核心部分保持“冻结”状态