← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9417.i · 生成模型:Tencent Hunyuan Hy

过拟合的成因

理解等级:中级

过拟合是深度学习中的核心难题。DFN 拥有数以百万计的可学习参数,如此自由的网络足以拟合任何数据分布,但训练目标不是死记训练样本,而是学到能表征数据的一般特征与模式。当参数过多时,模型会把训练集的每一处细节与噪声都学进去,做到每个训练样本都预测正确,却无法在测试集上复现表现——它对训练数据过度特化,失去对新数据的泛化能力,形成的决策边界过于贴合训练样本而非一般规律。避免过拟合要靠正则化:通过惩罚参数或引入随机性限制过度学习,具体手段包括 [[L1 与 L2 正则化]]、[[丢弃与早期停止]] 以及数据扩充;而能否察觉过拟合,则依赖 [[训练集、验证集与测试集]] 中验证损失由降转升的信号。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文从海量参数切入,说明网络过度特化训练数据会丧失泛化并被命名为过拟合,随后引出正则化对策,支撑成因与治理思路的表述。 - 原始内容:但是,这样做时,网络会过度学习,并且变得非常特定于训练数据,无法对不熟悉的数据执行操作。 这种过度学习现象被称为过拟合。