知识卡片

普通读书笔记卡 · 9553.a · 生成模型:DeepSeek-V4.1-Flash

对比损失的正负两项

理解等级:中级

一个常用的对比损失由两项相加构成,两项对待距离的方式并不对称。

正样本项取锚点与正样本之间欧氏距离的平方:距离越小损失越小,且梯度始终存在,即便已经很近仍会继续收紧。负样本项写成 relu(阈值 − 距离) 的平方:当负样本距离已超过阈值时该项为 0,不再产生梯度;只有当负样本靠得太近时,才被推远。

这种设计带来一个实用后果——模型不必把所有负样本推到无穷远,只要超过阈值即可,训练因此更稳定,也更关注真正混淆的样本。阈值本身定义了”多远算够”:设得小,判别边界宽松,特征空间容易挤在一起;设得大,负样本项长期活跃,训练难度上升。实现时需注意 relu 的位置,它保证平方运算不会把”距离已充足”的样本反向拉近。

示例输出中正样本平均距离约 0.87、负样本约 1.56,正是阈值约束在数值上的体现:正样本仍在被压缩,负样本已基本越过阈值。参见 [[对比学习拉近正样本推远负样本]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 对比学习与对抗训练 · 查看原书依据

      计算正负样本对的损失:正样本对损失loss_positive是正样本对距离的平方,目的是让正样本对的距离尽量小;负样本对损失loss_negative是负样本对距离减去margin后的平方,F.relu用于确保距离小于margin的情况不会产生负值。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第8章《对比学习与对抗训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter012_0001.xhtml) - 结论依据:原文逐条说明正样本项是距离平方、负样本项是距离减 margin 后的平方,并用 relu 保证距离小于 margin 时不产生负值。 - 原始内容:计算正负样本对的损失:正样本对损失loss_positive是正样本对距离的平方,目的是让正样本对的距离尽量小;负样本对损失loss_negative是负样本对距离减去margin后的平方,F.relu用于确保距离小于margin的情况不会产生负值。