知识卡片
交叉熵为何收敛更快
交叉熵在独热目标下只保留正确类那一项,损失等于 -log(p_正确),也就是观测数据的负对数似然:最小化它就是最大化训练数据的似然。它和 softmax 合在一层后,对网络输出的梯度是 p - actual,形式极简,几乎不用推导。让它比“sigmoid 加平方误差”快得多的真正原因是目标的宽松程度:要让 sigmoid 输出接近独热向量,正确类的得分必须是大正数、其余必须是大负数,条件苛刻;而 softmax 只比较相对大小,只要正确类得分最大,概率就能逼近 1,可行解的空间大得多,权重更容易找到。书中 Fizz Buzz 换成这套损失后,达到相近效果所需的训练轮数从上千降到一百量级。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 深度学习 · 查看原书依据
如果需要预测第 0 类(一个矢量,第一个位置为 1,其余位置为 0),那么在 linear + sigmoid 的网络结构下,需要输出的第一个数为大的正数,而其余为大的负数。但在 softmax 情况下,只需输出的第一个数大于其余数即可。
参考来源
- 位置:《数据科学入门(第2版)》第19章 深度学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0023.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「如果需要预测第 0 类(一个矢量,第一个位置为 1,其余位置为 0),那么在 l……」
- 原始内容:如果需要预测第 0 类(一个矢量,第一个位置为 1,其余位置为 0),那么在 linear + sigmoid 的网络结构下,需要输出的第一个数为大的正数,而其余为大的负数。但在 softmax 情况下,只需输出的第一个数大于其余数即可。