知识卡片

结构图卡 · 9652.b · 生成模型:DeepSeek-V4.1-Flash

自预测与对比两条路线

理解等级:高级

自监督的代理任务可归为两族,分叉点在于“模型被要求输出什么”。

  • 自预测:破坏输入的一部分(掩码、加噪、截断),要求重建被破坏的内容。掩蔽自编码器补图像缺失块,降噪自编码器去噪,GPT 预测下一个词,都属于此类。监督信号密集、实现直接,但模型可能只学会局部修补。
  • 对比:不重建像素,只要求“同一实例的不同视图靠近、不同实例远离”。一张猫图裁剪加噪得到两个视图作正例,另取大象图作负例,用 L2 之类的对比损失拉近正例、推远负例。监督信号是相对的,学到的嵌入更关注判别性语义。

对比路线内部还可再分:样本对比关注样本对之间的距离,维度对比关注嵌入各维度之间的距离或相关性结构。

代价:对比学习依赖大量负例与强增强策略,训练不稳定、对批大小敏感;自预测则容易学到低级统计量,重建得很像但表征未必判别性强。选哪条,取决于下游要的是“能重建”还是“能区分”。

结构图:

flowchart TB
  A["自监督学习"] --> B["自预测"]
  A --> C["对比自监督"]
  B --> B1["掩蔽/加噪/截断"]
  B1 --> B2["重建原输入"]
  C --> C1["正例:同图的不同视图"]
  C --> C2["负例:其他样本"]
  C1 --> C3["嵌入拉近"]
  C2 --> C4["嵌入推远"]
  C3 --> D["对比损失"]
  C4 --> D
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 自监督学习 · 查看原书依据

      自监督学习主要分为两大类:自预测和对比自监督学习。在自预测中,如图2-3所示,我们通常会更改或掩蔽输入的一部分内容,并训练模型来重建原始的输入内容

    参考来源

    - 位置:《大模型技术30讲》第2讲 自监督学习(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0006.xhtml) - 结论依据:第2章 2.3 自预测与对比自监督学习:两类代理任务的定义与举例 - 原始内容:自监督学习主要分为两大类:自预测和对比自监督学习。在自预测中,如图2-3所示,我们通常会更改或掩蔽输入的一部分内容,并训练模型来重建原始的输入内容