原书出处
深度学习
04 第4章 数值计算
个常数c时会发生什么。从理论分析上说,我们可以发现所有的输出都应该为 。从数值计算上说,当c量级很大时,这可能不会发生。
如果c是很小的负数,exp(c)就会下溢。这意味着softmax函数的分母会变成0,所以最后的结果是未定义的。当c是非常大的正数时,exp(c)的上溢再次导致整个表达式未定义。
这两个困难能通过计算softmax(z)同时解决,其中z=x−max i x i 。简单的代数计算表明,softmax解
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习/_epub-src/text/part0001_split_000.html
EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639