知识卡片
对比学习拉近正样本推远负样本
对比学习不依赖人工标签,它把”哪些样本该相似”这件事从标注转移到了数据构造上。对同一张图做两次不同的随机增强得到两个视图,它们语义相同,构成正样本对;批次里其他图像生成的视图语义不同,构成负样本对。训练目标就是让正样本对在嵌入空间里靠近、负样本对远离。
一旦模型学会了这种距离关系,编码器输出的向量就带上了可判别性,可以直接拿去做分类或聚类。它的监督信号来自”样本之间谁和谁同源”,而不是类别标签,因此属于自监督学习。
好处是数据可以无限扩充,标签成本归零;约束是特征质量高度依赖增强策略与负样本数量——负样本太少时,模型只需把每对样本随便推开就能降低损失,学不到细粒度结构。因此批次规模与增强多样性在对比学习里不是超参细节,而是决定成败的设计变量。参见 [[对比损失的正负两项]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 对比学习与对抗训练 · 查看原书依据
对比学习是一种通过样本间的相似性与差异性来提升模型表现的无监督学习方法,在没有标签数据的情况下,通过构建正负样本对使模型能够学到更多的特征信息。其核心在于通过设计合理的损失函数,使得相似样本在嵌入空间中的距离更近,不相似样本的距离更远。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第8章《对比学习与对抗训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter012_0001.xhtml)
- 结论依据:原文把对比学习定义为无监督方法,靠构建正负样本对学习特征,并明确其核心是让相似样本在嵌入空间中更近、不相似样本更远。
- 原始内容:对比学习是一种通过样本间的相似性与差异性来提升模型表现的无监督学习方法,在没有标签数据的情况下,通过构建正负样本对使模型能够学到更多的特征信息。其核心在于通过设计合理的损失函数,使得相似样本在嵌入空间中的距离更近,不相似样本的距离更远。