原书出处
智能算法导论
193 2 0 . 2 . 3 深 度 模 型 优 化
似极小值。迭代的过程大致上可以分为两步,首先通过更新二阶近似来计算Hessian逆,然后根据式(20-5)来更新参数。
之前提到过,在深度学习里目标函数表面一般的非凸的情况很常见,而在Hessian矩阵非正定时,使用牛顿法往往会使得更新往错误的方向进行。
这个问题可以通过正则化Hessian矩阵来解决,常用的策略有在Hessian矩阵对角线上增加常数α,使得正则化更新变成:
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/智能算法导论/_epub-src/EPUB/xhtml/chapter20_0004.xhtml
EPUB SHA-256:18e2691ea1badb55bab48f10fe7172f9d6a95bc5207bb2e234686cbbaff3641d