知识卡片
上溢下溢与softmax稳定
数字计算机只能用有限位模式表示无限实数,因此几乎总会产生舍入误差;当多个运算复合时,误差累积会让理论上可行的算法在实践中失效。下溢是接近零的数被舍入为零,会使分母变零或对数变成负无穷;上溢是大量级的数被近似为无穷,随后的运算会产生非数字NaN。softmax是典型受害场景:输入常数c很大或很小时,exp©分别上溢或下溢,使整个表达式未定义。解决办法是利用softmax对输入整体加减标量不改变函数值的性质,计算前先减去输入的最大值,使最大的指数为0,从而同时排除上溢与分母下溢。但分子仍可能下溢为0,所以计算log softmax必须实现成单独的函数,不能先算softmax再传给log,否则会错误地得到负无穷。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第4章 数值计算
原书出处 · 1 处
- 第4章 数值计算 · 查看原书依据
如果c是很小的负数,exp(c)就会下溢。这意味着softmax函数的分母会变成0,所以最后的结果是未定义的。当c是非常大的正数时,exp(c)的上溢再次导致整个表达式未定义。
参考来源
- 位置:《深度学习》第4章 数值计算(源文件:extracted/深度学习/_epub-src/text/part0001_split_000.html)
- 结论依据:原文以softmax在c很大或很小时的失效为例,说明减去输入最大值如何同时消除上溢与分母为零,并单独强调log softmax需要以稳定方式实现。
- 原始内容:如果c是很小的负数,exp(c)就会下溢。这意味着softmax函数的分母会变成0,所以最后的结果是未定义的。当c是非常大的正数时,exp(c)的上溢再次导致整个表达式未定义。