原书出处
智能算法导论
192 2 0 . 2 . 2 深 度 学 习 算 法 基 本 思 想
为复杂的学习任务。对于神经网络来说,提升复杂度和容量的显而易见的方法便是增加隐层的数目,即采用更“深”的网络来处理问题。
但是过深的网络也同样带来了问题: 一是有用数据少,训练不充分,易出现过拟合现象;二是构建的优化目标函数为高度非凸的,参数初始化影响网络模型的性能(因为可行域内出现大量鞍点和局部最小值点),极易陷入局部最优;三是利用BP算法,当隐层较多时,由于误差反馈,靠近输出端的权值调整较大,但靠近输入端的权值调整较小,出现所谓的梯度弥散现象。
针对这3个问题,提出的改进策略有: (1)增加数据量,改进统计方法(如裁剪,取块等);减少层与层之间的权值连接,间接增加
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/智能算法导论/_epub-src/EPUB/xhtml/chapter20_0003.xhtml
EPUB SHA-256:18e2691ea1badb55bab48f10fe7172f9d6a95bc5207bb2e234686cbbaff3641d