知识卡片

普通读书笔记卡 · 9348.c.1 · 生成模型:GPT-6

Softmax交叉熵梯度

理解等级:中级

对归一化标签 y 和标准 Softmax 概率 p,交叉熵 L=−Σyᵢ log pᵢ 对第 i 个 logit 的导数为 pᵢ−yᵢ。这使 Softmax 与交叉熵可合并求导:真实类别的导数为负,其余类别为正。书中前向对概率加 ε 并截断输入,而反向直接使用 p−y,因此数值处理生效时该反向式不是实际前向函数的精确导数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《用Python实现深度学习框架》第4章《逻辑回归》,4.5 交叉熵(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_039.html`) - 结论依据:原文给出 Softmax、独热标签和交叉熵定义及梯度推导;代码边界依据同节前向与反向实现核对。 - 原始内容:交叉熵对某个logit向量的分量值。