知识卡片

结构图卡 · 9553.e · 生成模型:DeepSeek-V4.1-Flash

从自监督预训练到下游微调

理解等级:中级

基于对比学习的迁移分两个阶段,目标函数完全不同。

第一阶段是自监督预训练:没有标签,靠数据增强构造正负样本对,用对比损失训练编码器与投影头,产出一个通用特征提取器。第二阶段是下游微调:加载预训练好的编码器,接上针对具体任务的分类头,用带标签数据、以交叉熵为目标训练,评估指标变成准确率。

两阶段的衔接点是”权重”,不是模型整体——投影头留在第一阶段,编码器进入第二阶段。这种划分的好处是标注数据只用在第二阶段,且第二阶段可训练的参数很少,数据稀缺时也能收敛。

代价是两阶段的数据分布与增强策略必须匹配:若预训练时的增强与下游图像的成像特点差异过大,特征迁移效果会打折。流程顺序也不能颠倒,更不能把两阶段合成一次训练,否则对比损失与分类损失会互相拉扯,前者要求忽略细节差异,后者要求放大类别差异。

验证阶段必须关闭梯度更新,否则评估结果会被”顺手学到”的验证样本污染。参见 [[冻结编码器的收益与上限]]。

结构图:

flowchart LR
  A[无标签图像] --> B[两次随机增强]
  B --> C[编码器与投影头]
  C --> D[NT-Xent对比预训练]
  D --> E[保留编码器权重]
  E --> F[接入分类头]
  F --> G[带标签微调]
  G --> H[验证集评估]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 对比学习与对抗训练 · 查看原书依据

      本节将重点阐述基于对比学习的自监督预训练方法及其在下游任务中的应用。通过对比学习实现自监督预训练,模型无须人工标注即可学习有效特征,为后续的下游任务提供高质量的初始权重。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第8章《对比学习与对抗训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter012_0002.xhtml) - 结论依据:原文说明自监督预训练无须人工标注即可学特征、为下游提供高质量初始权重,微调阶段则用标注数据与交叉熵继续优化。 - 原始内容:本节将重点阐述基于对比学习的自监督预训练方法及其在下游任务中的应用。通过对比学习实现自监督预训练,模型无须人工标注即可学习有效特征,为后续的下游任务提供高质量的初始权重。