知识卡片
自预测与对比两条路线
自监督的代理任务可归为两族,分叉点在于“模型被要求输出什么”。
- 自预测:破坏输入的一部分(掩码、加噪、截断),要求重建被破坏的内容。掩蔽自编码器补图像缺失块,降噪自编码器去噪,GPT 预测下一个词,都属于此类。监督信号密集、实现直接,但模型可能只学会局部修补。
- 对比:不重建像素,只要求“同一实例的不同视图靠近、不同实例远离”。一张猫图裁剪加噪得到两个视图作正例,另取大象图作负例,用 L2 之类的对比损失拉近正例、推远负例。监督信号是相对的,学到的嵌入更关注判别性语义。
对比路线内部还可再分:样本对比关注样本对之间的距离,维度对比关注嵌入各维度之间的距离或相关性结构。
代价:对比学习依赖大量负例与强增强策略,训练不稳定、对批大小敏感;自预测则容易学到低级统计量,重建得很像但表征未必判别性强。选哪条,取决于下游要的是“能重建”还是“能区分”。
结构图:
flowchart TB
A["自监督学习"] --> B["自预测"]
A --> C["对比自监督"]
B --> B1["掩蔽/加噪/截断"]
B1 --> B2["重建原输入"]
C --> C1["正例:同图的不同视图"]
C --> C2["负例:其他样本"]
C1 --> C3["嵌入拉近"]
C2 --> C4["嵌入推远"]
C3 --> D["对比损失"]
C4 --> D
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 自监督学习 · 查看原书依据
自监督学习主要分为两大类:自预测和对比自监督学习。在自预测中,如图2-3所示,我们通常会更改或掩蔽输入的一部分内容,并训练模型来重建原始的输入内容
参考来源
- 位置:《大模型技术30讲》第2讲 自监督学习(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0006.xhtml)
- 结论依据:第2章 2.3 自预测与对比自监督学习:两类代理任务的定义与举例
- 原始内容:自监督学习主要分为两大类:自预测和对比自监督学习。在自预测中,如图2-3所示,我们通常会更改或掩蔽输入的一部分内容,并训练模型来重建原始的输入内容