← 返回卡片

原书出处

深度学习

07 第7章 深度学习中的正则化

核验版本的摘录快照 · 导入于 2026-11-19T07:27:03.629Z

。而目标函数对沿着第二维远离 的移动非常敏感。对应的特征值较大,表示高曲率。因此,权重衰减对w 2 的位置影响相对较小

只有在显著减小目标函数方向上的参数会保留得相对完好。在无助于目标函数减小的方向(对应Hessian矩阵较小的特征值)上改变参数不会显著增加梯度。这种不重要方向对应的分量会在训练过程中因正则化而衰减掉。

目前为止,我们讨论了权重衰减对优化一个抽象通用的二次代价函数的影响。这些影响具体是怎么和机器学习关联的呢?我们可以研究

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习/_epub-src/text/part0002.html

EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639