知识卡片
交叉熵是编码代价的绝对值
交叉熵是把 p 的每个概率乘上 log q 再求和取负,含义是”用分布 q 去编码真实分布 p 的事件,平均需要多少比特”。它与 KL 距离只差一个常数:交叉熵 = p 的熵 + KL(p‖q),而 p 的熵与被优化的 q 无关,所以最小化交叉熵和最小化 KL 完全等价——这就是分类模型普遍拿交叉熵当损失函数的原因:不必知道真实分布的熵,压低交叉熵就等于把预测分布推向真实分布。边界在于,交叉熵奖励”给正确类更高的概率”,当标签有噪声、存在多标注或样本本身模糊时,模型会持续把概率推向 1,输出过度自信,常用标签平滑或温度缩放来校正这种倾向。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 你必须知道的一些基础知识 · 查看原书依据
它其实就是用分布q来表示X的熵是多少,也就是说用分布q来编码X(其完美分布是p)需要多付出多少比特。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第1章 你必须知道的一些基础知识(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00006.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「它其实就是用分布q来表示X的熵是多少,也就是说用分布q来编码X(其完美分布是p)……」
- 原始内容:它其实就是用分布q来表示X的熵是多少,也就是说用分布q来编码X(其完美分布是p)需要多付出多少比特。