知识卡片
交叉熵评估预测分布
对目标分布 p 和预测分布 q,交叉熵 H(p,q)=−Σᵢpᵢlog qᵢ=H(p)+Dₖₗ(p‖q)。当 p 固定时,最小化交叉熵等价于最小化 KL 散度;交叉熵的最小值是 H(p),KL 的最小值是 0。对于单个独热标签,损失退化为真实类别的负对数预测概率。训练时可使用接收 logits 的数值稳定实现,避免先取极小概率的对数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 一骑红尘江湖笑,TensorFlow谷歌造 11.6 手写数字识别 MNIST · 查看原书依据
交叉熵和相对熵之间相差了一个熵H(p)。
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第11章《一骑红尘江湖笑,TensorFlow谷歌造》,11.6 手写数字识别 MNIST(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter16_0006.xhtml#txt011_31)
- 结论依据:原文模型、公式和代码;对书中不准确之处已按公式限定。
- 原始内容:交叉熵和相对熵之间相差了一个熵H(p)。