知识卡片
模型容量增加不保证泛化
增大网络深度或参数规模可以扩大可表示函数的范围,却也提高训练和数据需求。有限数据下,容量增加可能只让模型更好地记住训练样本;目标非凸又使初始化、优化路径影响最终解。选模型时应同时比较训练误差、独立验证误差与计算成本,不能仅用层数推断任务能力。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2 0 . 2 . 2 深 度 学 习 算 法 基 本 思 想 · 查看原书依据
但是过深的网络也同样带来了问题: 一是有用数据少,训练不充分,易出现过拟合现象;二是构建的优化目标函数为高度非凸的,参数初始化影响网络模型的性能(因为可行域内出现大量鞍点和局部最小值点),极易陷入局部最优;三是利用BP算法,当隐层较多时,由于误差反馈,靠近输出端的权值调整较大,但靠近输入端的权值调整较小,出现所谓的梯度弥散现象。
参考来源
- 位置:《智能算法导论》第 192 项《20.2.2 深度学习算法基本思想》(源文件:`_epub-src/EPUB/xhtml/chapter20_0003.xhtml`)
- 结论依据:正文把参数规模、容量、数据不足过拟合和非凸优化困难并列;卡片区分表达能力、训练可达性与泛化。
- 原始内容:参数越多的模型,其复杂度越高,“容量(capacity)”越大……但是过深的网络也同样带来了问题:一是有用数据少,训练不充分,易出现过拟合现象;二是构建的优化目标函数为高度非凸的。