知识卡片
BP网络的三大局限
BP 网络是第一次用神经网络成功解决非线性问题的算法,但随着应用扩大,三个局限逐渐暴露。网络设计复杂:它是各种网络中难以调优的一类,即便调好也只适合某一类样本集,样本一变往往要重新设计,部署成本高。收敛速度慢:收敛由学习速率控制,动态调节对非线性问题很困难,因为 n 维曲面的梯度变化缺乏规律;常用策略是若本次权值降低误差就调大速率,过调则减小。容易陷入局部最优:未加动量因子时可能陷入局部极小,动量因子使其有机会滑过这些极小值。这三个局限说明:BP 的实用性高度依赖经验性调参,缺乏普适的理论指导——这正是后来 SVM、深度学习等路线试图改进的地方。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 神经网络初步 · 查看原书依据
在实际应用中,BP网络是各种网络中难以调优的一类网络,网络的设计比较复杂,即便调优,也只适合某类样本集,样本集一旦改变,网络常常要重新设计,部署成本比较高。
参考来源
- 位置:《机器学习算法原理与编程实践》第6章 神经网络初步(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00022.html)
- 结论依据:原文在评估节依次列出网络设计复杂、收敛速度慢、容易陷入局部最优三个问题,并说明各自成因与动量因子的作用,支撑三大局限的归纳。
- 原始内容:在实际应用中,BP网络是各种网络中难以调优的一类网络,网络的设计比较复杂,即便调优,也只适合某类样本集,样本集一旦改变,网络常常要重新设计,部署成本比较高。