← 返回卡片

原书出处

深度学习

06 第6章 深度前馈网络

核验版本的摘录快照 · 导入于 2026-11-19T07:27:03.628Z

值时才会饱和。因此饱和只会出现在模型已经得到正确答案时——当y=1且z取非常大的正值时,或者y=0且z取非常小的负值时。

当z的符号错误时,softplus函数的变量(1−2y)z可以简化为|z|。当|z|变得很大并且z的符号错误时,softplus函数渐近地趋向于它的变量|z|。

对z求导则渐近地趋向于sign(z),所以,对于极限情况下极度不正确的z,softplus函数完全不会收缩梯度。这个性质

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习/_epub-src/text/part0002.html

EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639