← 返回卡片

原书出处

智能算法导论

193 2 0 . 2 . 3 深 度 模 型 优 化

核验版本的摘录快照 · 导入于 2026-10-23T08:14:02.896Z

似极小值。迭代的过程大致上可以分为两步,首先通过更新二阶近似来计算Hessian逆,然后根据式(20-5)来更新参数。

之前提到过,在深度学习里目标函数表面一般的非凸的情况很常见,而在Hessian矩阵非正定时,使用牛顿法往往会使得更新往错误的方向进行。

这个问题可以通过正则化Hessian矩阵来解决,常用的策略有在Hessian矩阵对角线上增加常数α,使得正则化更新变成:

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/智能算法导论/_epub-src/EPUB/xhtml/chapter20_0004.xhtml

EPUB SHA-256:18e2691ea1badb55bab48f10fe7172f9d6a95bc5207bb2e234686cbbaff3641d