知识卡片
NT-Xent把对比学习写成分类
NT-Xent 是 SimCLR 使用的对比损失。它要回答的问题是:在一批由同一图像两次随机增强得到的视图里,怎样让模型认出”这两个视图来自同一张图”。
做法是把每个视图当作一个样本,同源的两个视图互为正样本对,其余全部视为负样本;损失要求正样本对在嵌入空间里靠近,负样本对被推开。因此训练不需要人工标签,标签由”哪两个视图同源”这一配对关系临时给出。
这带来两个直接后果:
- 类别是动态的:每一批数据的正负关系都由增强方式决定,没有固定类别表,所以它属于自监督而非普通分类。
- 批大小参与任务难度:同一批里其余样本都充当负样本,批越大干扰项越多,模型被迫学更细的判别特征。
实现上,流程固定为四步:对每个样本做两次增强、编码器提取特征、投影头把特征映射到对比空间、用 NT-Xent 计算损失并反传。示例中损失函数以 NTXentLoss(temperature=0.5) 初始化,温度是该损失的一个超参数。与之配套的整体框架见 [[SimCLR的四个组件]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 对比学习与对抗训练 · 查看原书依据
它通过对同一图像进行不同的随机数据增强来生成两个不同的视图,并让模型在没有标签的情况下学习生成相似的嵌入向量。其核心在于使用数据增强生成正负样本对,并通过特定的对比损失函数(通常为NT-Xent损失)让模型在嵌入空间中将相似的样本拉近,将不相似的样本推开。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第8章《对比学习与对抗训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter012_0001.xhtml)
- 结论依据:原文说明 SimCLR 通过数据增强生成正负样本对,并用 NT-Xent 让相似样本在嵌入空间拉近、不相似样本推开;四步流程与温度参数见同节分步实现代码。
- 原始内容:它通过对同一图像进行不同的随机数据增强来生成两个不同的视图,并让模型在没有标签的情况下学习生成相似的嵌入向量。其核心在于使用数据增强生成正负样本对,并通过特定的对比损失函数(通常为NT-Xent损失)让模型在嵌入空间中将相似的样本拉近,将不相似的样本推开。