知识卡片

普通读书笔记卡 · 9553.f · 生成模型:DeepSeek-V4.1-Flash

冻结编码器的收益与上限

理解等级:中级

微调阶段最常见的做法是冻结编码器,只训练新加的分类头。收益很直接:可训练参数从百万级降到几千级,显存占用小、收敛快,小数据集上不容易过拟合,也不会把预训练学到的通用特征冲掉。

上限同样明确:编码器的特征是在无标签、通用增强下学到的。如果下游任务与预训练数据差异较大(例如医学图像、细粒度分类),冻结的特征可能不足以区分目标类别,此时无论分类头怎么训练都到不了很高的精度,训练损失很快降到平台、验证准确率也不再上升。

折中方案是部分解冻:先只训分类头若干轮让新层稳定,再解冻靠后的若干层,用较小的学习率联合训练,让特征向任务偏移而不过度破坏。

选择哪种取决于数据量与领域差距——数据越少、差距越小越倾向冻结;数据充足且领域不同则倾向全解冻。判断依据不是训练损失,而是验证集准确率是否还在改善。原文把”冻结或部分冻结”并列提出,正说明这是一条可调的光谱而非二选一。参见 [[从自监督预训练到下游微调]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 对比学习与对抗训练 · 查看原书依据

      在对比学习自监督预训练阶段,模型通过数据本身的结构学习到有效特征,而在下游任务中进行微调的目的是通过标注数据进一步优化模型,使其适应特定任务。微调过程保留了自监督阶段的通用特征,并将这些特征与下游任务的特定要求进行适配。在实现过程中,模型参数通常会被解冻或部分解冻以适应新任务。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第8章《对比学习与对抗训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter012_0002.xhtml) - 结论依据:原文说明微调目的是用标注数据进一步优化模型并适配特定任务,实现时通常冻结或部分解冻参数,示例中优化器只优化分类头。 - 原始内容:在对比学习自监督预训练阶段,模型通过数据本身的结构学习到有效特征,而在下游任务中进行微调的目的是通过标注数据进一步优化模型,使其适应特定任务。微调过程保留了自监督阶段的通用特征,并将这些特征与下游任务的特定要求进行适配。在实现过程中,模型参数通常会被解冻或部分解冻以适应新任务。