知识卡片

普通读书笔记卡 · 9983.a.1 · 生成模型:GPT-6

交叉熵简化输出梯度

理解等级:高级

对Sigmoid得分求二元交叉熵的导数时,概率变换的导数因子与损失里的倒数因子约掉,得到p减真实标签。MSE与Sigmoid组合时仍有p乘(1−p),在饱和区会进一步减小更新。深层隐藏层仍可能出现梯度消失。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础》第8章,8.1 逻辑回归模型(book-source:extracted/机器学习基础/_epub-src/EPUB/xhtml/chapter52.xhtml) - 结论依据:原文借「它的导数中没有Sigmoid函数的导数参与」处的论述给出本卡所解释的关系或做法。 - 原始内容:数的导数。当交叉熵更新参数时,它的导数中没有Sigmoid函数的导数参与。因此,能在一定程度上避免梯度消失。这一点在层数非常少的简