← 返回卡片

原书出处

智能算法导论

192 2 0 . 2 . 2 深 度 学 习 算 法 基 本 思 想

核验版本的摘录快照 · 导入于 2026-10-23T08:14:02.895Z

为复杂的学习任务。对于神经网络来说,提升复杂度和容量的显而易见的方法便是增加隐层的数目,即采用更“深”的网络来处理问题。

但是过深的网络也同样带来了问题: 一是有用数据少,训练不充分,易出现过拟合现象;二是构建的优化目标函数为高度非凸的,参数初始化影响网络模型的性能(因为可行域内出现大量鞍点和局部最小值点),极易陷入局部最优;三是利用BP算法,当隐层较多时,由于误差反馈,靠近输出端的权值调整较大,但靠近输入端的权值调整较小,出现所谓的梯度弥散现象。

针对这3个问题,提出的改进策略有: (1)增加数据量,改进统计方法(如裁剪,取块等);减少层与层之间的权值连接,间接增加

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/智能算法导论/_epub-src/EPUB/xhtml/chapter20_0003.xhtml

EPUB SHA-256:18e2691ea1badb55bab48f10fe7172f9d6a95bc5207bb2e234686cbbaff3641d