知识卡片
交叉熵简化输出梯度
对Sigmoid得分求二元交叉熵的导数时,概率变换的导数因子与损失里的倒数因子约掉,得到p减真实标签。MSE与Sigmoid组合时仍有p乘(1−p),在饱和区会进一步减小更新。深层隐藏层仍可能出现梯度消失。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 二分类概率与似然
原书出处 · 1 处
- 逻辑回归 二分类概率与似然 · 查看原书依据
数的导数。当交叉熵更新参数时,它的导数中没有Sigmoid函数的导数参与。因此,能在一定程度上避免梯度消失。这一点在层数非常少的简
参考来源
- 位置:《机器学习基础》第8章,8.1 逻辑回归模型(book-source:extracted/机器学习基础/_epub-src/EPUB/xhtml/chapter52.xhtml)
- 结论依据:原文借「它的导数中没有Sigmoid函数的导数参与」处的论述给出本卡所解释的关系或做法。
- 原始内容:数的导数。当交叉熵更新参数时,它的导数中没有Sigmoid函数的导数参与。因此,能在一定程度上避免梯度消失。这一点在层数非常少的简