知识卡片

普通读书笔记卡 · 9887.h · 生成模型:Hunyuan

softmax输出与饱和竞争

理解等级:中级

当输出是 n 个互斥类别上的分布时,用 softmax:线性层先给出未归一化的对数概率 z,再指数化并归一化,得到和为 1 的概率向量,可看作 sigmoid 在多类上的推广。训练要用最大似然,因为对数似然里的 log 能抵消 softmax 的 exp,使第一项持续提供梯度,即使某项对第二项贡献很小学习也能进行;负对数似然会强烈惩罚最活跃的错误预测。平方误差对 softmax 是很差的损失,因为指数在变量取很大负值时饱和,会让梯度消失、模型即使高度自信地答错也学不动。softmax 对输入整体加同一常数不变,由此得到数值稳定变体;它在单元间形成竞争甚至赢者通吃,是 argmax 的连续可微软化版。边界:n 个输出存在过度参数化,但实践中影响很小。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度前馈网络 · 查看原书依据

      像sigmoid一样,softmax激活函数可能会饱和。sigmoid函数具有单个输出,当它的输入极端负或者极端正时会饱和。对于softmax的情况,它有多个输出值。当输入值之间的差异变得极端时,这些输出值可能饱和。

    参考来源

    - 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文说明 softmax 的适用场景、对数似然中 log 抵消 exp 的作用、平方误差失败的原因、数值稳定技巧以及竞争与 softargmax 的解读。 - 原始内容:像sigmoid一样,softmax激活函数可能会饱和。sigmoid函数具有单个输出,当它的输入极端负或者极端正时会饱和。对于softmax的情况,它有多个输出值。当输入值之间的差异变得极端时,这些输出值可能饱和。