← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9843.j · 生成模型:Hunyuan

BP网络的三大局限

理解等级:高级

BP 网络是第一次用神经网络成功解决非线性问题的算法,但随着应用扩大,三个局限逐渐暴露。网络设计复杂:它是各种网络中难以调优的一类,即便调好也只适合某一类样本集,样本一变往往要重新设计,部署成本高。收敛速度慢:收敛由学习速率控制,动态调节对非线性问题很困难,因为 n 维曲面的梯度变化缺乏规律;常用策略是若本次权值降低误差就调大速率,过调则减小。容易陷入局部最优:未加动量因子时可能陷入局部极小,动量因子使其有机会滑过这些极小值。这三个局限说明:BP 的实用性高度依赖经验性调参,缺乏普适的理论指导——这正是后来 SVM、深度学习等路线试图改进的地方。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 神经网络初步 · 查看原书依据

      在实际应用中,BP网络是各种网络中难以调优的一类网络,网络的设计比较复杂,即便调优,也只适合某类样本集,样本集一旦改变,网络常常要重新设计,部署成本比较高。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第6章 神经网络初步(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00022.html) - 结论依据:原文在评估节依次列出网络设计复杂、收敛速度慢、容易陷入局部最优三个问题,并说明各自成因与动量因子的作用,支撑三大局限的归纳。 - 原始内容:在实际应用中,BP网络是各种网络中难以调优的一类网络,网络的设计比较复杂,即便调优,也只适合某类样本集,样本集一旦改变,网络常常要重新设计,部署成本比较高。