知识卡片
Softmax交叉熵梯度
对归一化标签 y 和标准 Softmax 概率 p,交叉熵 L=−Σyᵢ log pᵢ 对第 i 个 logit 的导数为 pᵢ−yᵢ。这使 Softmax 与交叉熵可合并求导:真实类别的导数为负,其余类别为正。书中前向对概率加 ε 并截断输入,而反向直接使用 p−y,因此数值处理生效时该反向式不是实际前向函数的精确导数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 逻辑回归 4.5 交叉熵 · 查看原书依据
交叉熵对某个logit向量的分量值
参考来源
- 位置:《用Python实现深度学习框架》第4章《逻辑回归》,4.5 交叉熵(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_039.html`)
- 结论依据:原文给出 Softmax、独热标签和交叉熵定义及梯度推导;代码边界依据同节前向与反向实现核对。
- 原始内容:交叉熵对某个logit向量的分量值。