知识卡片

普通读书笔记卡 · 3788.p.2

模型容量增加不保证泛化

理解等级:中级

增大网络深度或参数规模可以扩大可表示函数的范围,却也提高训练和数据需求。有限数据下,容量增加可能只让模型更好地记住训练样本;目标非凸又使初始化、优化路径影响最终解。选模型时应同时比较训练误差、独立验证误差与计算成本,不能仅用层数推断任务能力。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 2 0 . 2 . 2 深 度 学 习 算 法 基 本 思 想 · 查看原书依据

      但是过深的网络也同样带来了问题: 一是有用数据少,训练不充分,易出现过拟合现象;二是构建的优化目标函数为高度非凸的,参数初始化影响网络模型的性能(因为可行域内出现大量鞍点和局部最小值点),极易陷入局部最优;三是利用BP算法,当隐层较多时,由于误差反馈,靠近输出端的权值调整较大,但靠近输入端的权值调整较小,出现所谓的梯度弥散现象。

    参考来源

    - 位置:《智能算法导论》第 192 项《20.2.2 深度学习算法基本思想》(源文件:`_epub-src/EPUB/xhtml/chapter20_0003.xhtml`) - 结论依据:正文把参数规模、容量、数据不足过拟合和非凸优化困难并列;卡片区分表达能力、训练可达性与泛化。 - 原始内容:参数越多的模型,其复杂度越高,“容量(capacity)”越大……但是过深的网络也同样带来了问题:一是有用数据少,训练不充分,易出现过拟合现象;二是构建的优化目标函数为高度非凸的。