知识卡片
交叉熵三条全不满足
二分类单点交叉熵:CE(p,q)=−[p·log q+(1−p)·log(1−q)],p 为真实标签,q 为预测概率。三条标准逐条检查:
- 非负:过。q∈[0,1] 使 log 非正,加负号后 CE≥0。
- 同一性:不过。CE(0.5,0.5)=−log0.5=0.693≠0。两个分布相同,损失依然为正,因为它含标签自身的熵 H(p)。
- 对称:不过。CE(0.9,0.1)=−log0.1=2.303,CE(0.1,0.9)=−log0.9=0.105,差 20 倍。用自信的错预测去编码真实标签,代价远高于反过来。
- 三角不等式:不过。取 p=0.1、q=0.5、r=0.9:CE(p,r)=2.303,CE(p,q)+CE(q,r)=0.693+0.693=1.386,直达远大于绕路。
根因:交叉熵 = 熵 + KL 散度,它衡量的是用 q 编码 p 的编码长度代价,不是对称的几何间隔;KL 本身也不对称、不满足三角不等式。
结论:交叉熵是优秀损失(凸、梯度干净、概率意义明确),但不是度量。要度量两个分布的距离,用 JS 散度或 Wasserstein 距离。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第27章 合适的模型度量 · 查看原书依据
总之,尽管交叉熵损失在用(随机)梯度下降训练神经网络时是个有用的损失函数,但它不是一个合适的距离度量,因为它不满足作为合适度量的三个标准中的任何一个。
参考来源
- 位置:《大模型技术30讲》第27讲 合适的模型度量(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0035.xhtml)
- 结论依据:第27章 27.3 节:CE 非负、同点不为零、不对称、三角不等式反例,以及三条全不满足的结论
- 原始内容:总之,尽管交叉熵损失在用(随机)梯度下降训练神经网络时是个有用的损失函数,但它不是一个合适的距离度量,因为它不满足作为合适度量的三个标准中的任何一个。