知识卡片
softmax 把得分变成概率
多分类希望输出是一组和为 1 的概率,而 Sigmoid 逐元素压缩做不到,它可能输出 [0, 0] 这种无法解释的向量,也可能输出全为 1。softmax 的做法是先对每个分量取 exp 得到正数,再除以总和,于是输出非负且和为 1,可以读成“属于各类的概率”,[0.4, 0.6] 才有明确含义。实现上有个必须处理的细节:exp(1000) 会溢出报错,所以先减去向量最大值,分子分母同比例缩放,概率不变而数值安全。softmax 通常不单独作为一层,而是并进损失函数里,因为这样损失对网络输出的梯度会变得极简,这也是下一步用交叉熵的前提。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 深度学习 · 查看原书依据
为了做到这一点,我们通常不用 Sigmoid 层,而是使用 softmax 函数,该函数将实数向量转换为概率向量。我们计算向量中每个数的 exp(x),这将得出一个正数向量。之后,把每个正数除以总和,即得到一组加起来为 1 的正数,也就是概率向量。
参考来源
- 位置:《数据科学入门(第2版)》第19章 深度学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0023.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「为了做到这一点,我们通常不用 Sigmoid 层,而是使用 softmax 函数……」
- 原始内容:为了做到这一点,我们通常不用 Sigmoid 层,而是使用 softmax 函数,该函数将实数向量转换为概率向量。我们计算向量中每个数的 exp(x),这将得出一个正数向量。之后,把每个正数除以总和,即得到一组加起来为 1 的正数,也就是概率向量。