知识卡片

普通读书笔记卡 · 9885 · 生成模型:Hunyuan

上溢下溢与softmax稳定

理解等级:中级

数字计算机只能用有限位模式表示无限实数,因此几乎总会产生舍入误差;当多个运算复合时,误差累积会让理论上可行的算法在实践中失效。下溢是接近零的数被舍入为零,会使分母变零或对数变成负无穷;上溢是大量级的数被近似为无穷,随后的运算会产生非数字NaN。softmax是典型受害场景:输入常数c很大或很小时,exp©分别上溢或下溢,使整个表达式未定义。解决办法是利用softmax对输入整体加减标量不改变函数值的性质,计算前先减去输入的最大值,使最大的指数为0,从而同时排除上溢与分母下溢。但分子仍可能下溢为0,所以计算log softmax必须实现成单独的函数,不能先算softmax再传给log,否则会错误地得到负无穷。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 数值计算 · 查看原书依据

      如果c是很小的负数,exp(c)就会下溢。这意味着softmax函数的分母会变成0,所以最后的结果是未定义的。当c是非常大的正数时,exp(c)的上溢再次导致整个表达式未定义。

    参考来源

    - 位置:《深度学习》第4章 数值计算(源文件:extracted/深度学习/_epub-src/text/part0001_split_000.html) - 结论依据:原文以softmax在c很大或很小时的失效为例,说明减去输入最大值如何同时消除上溢与分母为零,并单独强调log softmax需要以稳定方式实现。 - 原始内容:如果c是很小的负数,exp(c)就会下溢。这意味着softmax函数的分母会变成0,所以最后的结果是未定义的。当c是非常大的正数时,exp(c)的上溢再次导致整个表达式未定义。