知识卡片
深网训练的三重障碍
问题:多层网络为何长期训练不好?分析:BP 采用随机初值与局部梯度下降,层数一多就暴露三个问题。①梯度弥散:误差反传到最前面层时,误差函数对权值的导数变得很小,前层权值几乎不动,等于没学到东西。②局部极值:单隐层时 BP 通常能收敛,隐层多时陷入局部极小而不收敛的可能性很大。③数据获取:有监督学习需要期望输出,这类标注有时很难获得,难以凑够训练数据。三者叠加,使深网在早期只能停留在少量隐层。方案:2006 年 Hinton 用深度信念网与无监督贪婪逐层预训练,先逐层初始化、再整体微调,绕开“从随机初值直接优化深网”的困境。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 神经网络与深度学习 · 查看原书依据
(1)梯度弥散问题。BP 算法采用梯度下降法进行反向误差传播,当网络使用随机化初始权值时,若隐层数较多,则传播到最前面层时误差函数对权值的导数会变得很小
参考来源
- 位置:《大数据挖掘与统计机器学习》第6章 神经网络与深度学习(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter8_0002.xhtml,6.2 深度学习)
- 结论依据:原文列出梯度弥散、局部极值、数据获取三个问题,并说明 DBN 与逐层预训练由此登场。
- 原始内容:(1)梯度弥散问题。BP 算法采用梯度下降法进行反向误差传播,当网络使用随机化初始权值时,若隐层数较多,则传播到最前面层时误差函数对权值的导数会变得很小