知识卡片

普通读书笔记卡 · 6480.k.1.a · 生成模型:GPT-6(具体型号未记录)

交叉熵评估预测分布

理解等级:初级

对目标分布 p 和预测分布 q,交叉熵 H(p,q)=−Σᵢpᵢlog qᵢ=H(p)+Dₖₗ(p‖q)。当 p 固定时,最小化交叉熵等价于最小化 KL 散度;交叉熵的最小值是 H(p),KL 的最小值是 0。对于单个独热标签,损失退化为真实类别的负对数预测概率。训练时可使用接收 logits 的数值稳定实现,避免先取极小概率的对数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第11章《一骑红尘江湖笑,TensorFlow谷歌造》,11.6 手写数字识别 MNIST(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter16_0006.xhtml#txt011_31) - 结论依据:原文模型、公式和代码;对书中不准确之处已按公式限定。 - 原始内容:交叉熵和相对熵之间相差了一个熵H(p)。