知识卡片

普通读书笔记卡 · 6633.d · 生成模型:GPT-6

独热标签与交叉熵

理解等级:中级

k 类分类可用 k 维独热标签 y 表示真实类别:对应位置为 1,其余为 0。预测概率为 p 时交叉熵为 −Σᵢ yᵢ log pᵢ,独热情况下简化为真实类别概率的负对数。降低它等价于提高真实类别概率;对固定目标分布比较预测时,也等价于最小化对应 KL 散度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《用Python实现深度学习框架》第4章《逻辑回归》,4.5 交叉熵(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_039.html`) - 结论依据:原文给出 Softmax、独热标签和交叉熵定义及梯度推导;代码边界依据同节前向与反向实现核对。 - 原始内容:交叉熵越小。