知识卡片

普通读书笔记卡 · 9777.h · 生成模型:DeepSeek-V4.1-Flash

softmax 把得分变成概率

理解等级:中级

多分类希望输出是一组和为 1 的概率,而 Sigmoid 逐元素压缩做不到,它可能输出 [0, 0] 这种无法解释的向量,也可能输出全为 1。softmax 的做法是先对每个分量取 exp 得到正数,再除以总和,于是输出非负且和为 1,可以读成“属于各类的概率”,[0.4, 0.6] 才有明确含义。实现上有个必须处理的细节:exp(1000) 会溢出报错,所以先减去向量最大值,分子分母同比例缩放,概率不变而数值安全。softmax 通常不单独作为一层,而是并进损失函数里,因为这样损失对网络输出的梯度会变得极简,这也是下一步用交叉熵的前提。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第19章 深度学习 · 查看原书依据

      为了做到这一点,我们通常不用 Sigmoid 层,而是使用 softmax 函数,该函数将实数向量转换为概率向量。我们计算向量中每个数的 exp(x),这将得出一个正数向量。之后,把每个正数除以总和,即得到一组加起来为 1 的正数,也就是概率向量。

    参考来源

    - 位置:《数据科学入门(第2版)》第19章 深度学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0023.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「为了做到这一点,我们通常不用 Sigmoid 层,而是使用 softmax 函数……」 - 原始内容:为了做到这一点,我们通常不用 Sigmoid 层,而是使用 softmax 函数,该函数将实数向量转换为概率向量。我们计算向量中每个数的 exp(x),这将得出一个正数向量。之后,把每个正数除以总和,即得到一组加起来为 1 的正数,也就是概率向量。