原书出处
深度学习
07 第7章 深度学习中的正则化
少网络输出误差的平方。因此目标函数变为: 对于小的η,最小化带权重噪声(方差为 )的J等同于最小化附加正则化项: 的J。
这种形式的正则化鼓励参数进入权重小扰动对输出相对影响较小的参数空间区域。换句话说,它推动模型进入对权重小的变化相对不敏感的区域,找到的点不只是极小点,还是由平坦区域所包围的极小点(Hochreiter and Schmidhuber,1995)。
在简化的线性回归中(例如, ),正则项退化为 ,这与函数的参数无关,因此不会对 关于模型参数的梯度有影响。 7.5.1
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习/_epub-src/text/part0002.html
EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639