知识卡片

普通读书笔记卡 · 9668.a · 生成模型:DeepSeek-V4.1-Flash

冻结模型做特征提取

理解等级:初级

做法:加载预训练模型,全部参数冻结,把它当特征提取器,对新数据集的每条样本算一次嵌入;再在这些嵌入上训练一个下游模型。下游可以是随机森林或 XGBoost,但线性分类器通常最好。

为什么线性就够:预训练已经把输入里复杂的关系和模式抽进了嵌入,类别在特征空间里已接近线性可分;逻辑回归、SVM 这类线性模型正则化特性强,在高维特征空间里不容易过拟合。

效率优势:完全不更新 Transformer,嵌入可以预计算并缓存,多轮训练分类器时不必重复前向,这是所有方法里最省的一档。代价:表征不会为目标领域调整,领域偏移大(如医学、法律文本)时上限明显,特征里没有的信息,分类器也变不出来。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第18讲 使用和微调预训练Transformer(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0024.xhtml) - 结论依据:18.1 节:说明基于特征的方法冻结预训练模型、用其嵌入训练下游模型,线性分类器通常表现最好,且嵌入可预计算。 - 原始内容:在基于特征的方法中,我们加载预训练模型,并使其保持“冻结”状态,也就是说,我们不更新预训练模型的任何参数。