知识卡片
冻结模型做特征提取
做法:加载预训练模型,全部参数冻结,把它当特征提取器,对新数据集的每条样本算一次嵌入;再在这些嵌入上训练一个下游模型。下游可以是随机森林或 XGBoost,但线性分类器通常最好。
为什么线性就够:预训练已经把输入里复杂的关系和模式抽进了嵌入,类别在特征空间里已接近线性可分;逻辑回归、SVM 这类线性模型正则化特性强,在高维特征空间里不容易过拟合。
效率优势:完全不更新 Transformer,嵌入可以预计算并缓存,多轮训练分类器时不必重复前向,这是所有方法里最省的一档。代价:表征不会为目标领域调整,领域偏移大(如医学、法律文本)时上限明显,特征里没有的信息,分类器也变不出来。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 使用和微调预训练Transformer · 查看原书依据
在基于特征的方法中,我们加载预训练模型,并使其保持“冻结”状态,也就是说,我们不更新预训练模型的任何参数。
参考来源
- 位置:《大模型技术30讲》第18讲 使用和微调预训练Transformer(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0024.xhtml)
- 结论依据:18.1 节:说明基于特征的方法冻结预训练模型、用其嵌入训练下游模型,线性分类器通常表现最好,且嵌入可预计算。
- 原始内容:在基于特征的方法中,我们加载预训练模型,并使其保持“冻结”状态,也就是说,我们不更新预训练模型的任何参数。