知识卡片
独热标签与交叉熵
k 类分类可用 k 维独热标签 y 表示真实类别:对应位置为 1,其余为 0。预测概率为 p 时交叉熵为 −Σᵢ yᵢ log pᵢ,独热情况下简化为真实类别概率的负对数。降低它等价于提高真实类别概率;对固定目标分布比较预测时,也等价于最小化对应 KL 散度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《用Python实现深度学习框架》第4章《逻辑回归》,4.5 交叉熵(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_039.html`)
- 结论依据:原文给出 Softmax、独热标签和交叉熵定义及梯度推导;代码边界依据同节前向与反向实现核对。
- 原始内容:交叉熵越小。