知识卡片
五种用法的成本阶梯
阶梯按“要更新多少参数”排:提示(0)→ 基于特征(0,只训外部模型)→ 微调I(只训新输出层)→ 参数高效微调(训新增的小张量)→ 微调II(全参)→ RLHF(奖励模型加 PPO)。越往下,可塑性与成本一起上升。
| 方法 | 更新参数 | 数据需求 | 典型场景 |
|---|---|---|---|
| 提示 | 无 | 0~几个示例 | 快速验证、无 API 权重 |
| 基于特征 | 无(冻结) | 中等标注 | 分类、聚类、检索 |
| 微调I | 输出层 | 中等标注 | 任务简单、算力紧 |
| PEFT | 新增少量 | 中等标注 | 多任务切换 |
| 微调II | 全部 | 较多标注 | 领域差异大 |
读法:先问“有没有标注、能不能拿到权重、领域差多远”。没有标注或拿不到权重,就停在前两档;领域差异大且数据足够,才值得付全参微调的账。这张阶梯不是精度排行榜,而是决策顺序。
结构图:
flowchart LR
A[提示 零样本 小样本] --> B[基于特征 冻结 加线性分类器]
B --> C[微调I 只训输出层]
C --> D[PEFT 软提示 前缀 适配器 LoRA]
D --> E[微调II 全参更新]
E --> F[RLHF 奖励模型 加 PPO]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 使用和微调预训练Transformer · 查看原书依据
微调预训练大模型的传统方法包括只更新输出层,我们称之为微调I,以及更新模型的所有层,我们称之为微调II。
参考来源
- 位置:《大模型技术30讲》第18讲 使用和微调预训练Transformer(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0024.xhtml)
- 结论依据:18 章导语与 18.1–18.4 节:列出基于特征、上下文提示、更新参数子集三类用法,以及微调I/微调II、PEFT 与 RLHF,并说明各自的成本与效果权衡。
- 原始内容:微调预训练大模型的传统方法包括只更新输出层,我们称之为微调I,以及更新模型的所有层,我们称之为微调II。