知识卡片
对比学习:拉近正例推远负例
是什么:对比自监督让模型学一个嵌入空间,使相似输入的向量距离最小、不相似输入的距离最大。它不需要标签,正负例由数据增强和随机采样自动构造。
怎么做:取一张猫图,做裁剪、加噪等增强得到两个视图,二者互为正例;再从数据集随机取一张大象图作负例。同一个网络(孪生结构,权重共享)分别编码,损失函数(最简单的就是 L2 欧氏距离)更新权重,把正例对拉近、负例对推远。
| 对比类型 | 关注点 | 例子 |
|---|---|---|
| 样本对比 | 样本级嵌入之间的距离 | 猫的两个视图 vs 大象 |
| 维度对比 | 嵌入各维度之间的距离或相关性 | VICRegL 一类方法 |
为什么有效:增强不改变语义,模型若想在扰动下仍给出相近向量,就必须抓住图像的核心内容,同时保留对细微差异的敏感度。
代价与边界:正负例构造决定成败,增强过弱学不到不变性,过强会破坏语义;负例数量与批大小显著影响效果,训练成本高;学到的是通用表征,仍需下游微调或最近邻分类。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 自监督学习 · 查看原书依据
我们训练的神经网络所产生的嵌入向量,能够使得相似训练样本之间的向量距离最小化、不相似样本之间的向量距离最大化。
参考来源
- 位置:《大模型技术30讲》第2讲 自监督学习(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0006.xhtml)
- 结论依据:第2章 2.3 对比自监督:猫与大象示例、孪生网络、L2 损失、样本对比与维度对比
- 原始内容:我们训练的神经网络所产生的嵌入向量,能够使得相似训练样本之间的向量距离最小化、不相似样本之间的向量距离最大化。