知识卡片
丢弃与早期停止
除参数惩罚外,还有两类更直接的抗过拟合手段。丢弃(Dropout)通过在每次迭代中随机删除若干神经元及其权重连接来向网络注入随机性:被删节点本次不参与计算,迫使网络不依赖特定路径,从而学到更稳健的表征。早期停止则利用验证集判断训练时长:训练算法只盯着训练损失时会一直下降,即使过拟合也不会自行停下;但同时监控验证集损失,会发现它先随训练下降、到达最佳点后又因过拟合而回升。验证损失与训练损失开始分道扬镳的时刻,就是应停止训练、避免过拟合的位置。二者配合 [[过拟合的成因]] 的判断依据,并依赖 [[训练集、验证集与测试集]] 提供的验证信号。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度前馈网络 数据划分、过拟合与正则化 · 查看原书依据
丢弃是处理神经网络过拟合(或深度学习)的独特方法。 为了引入网络中的随机性,丢弃操作通过删除与该节点之间的权重连接来随机删除几个节点(神经元)。 丢弃在每个迭代中随机发生。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文说明丢弃靠随机删节点注入随机性、早期停止靠观察验证损失回升来收手,二者都依托验证集信号,支撑其抗过拟合机制的表述。
- 原始内容:丢弃是处理神经网络过拟合(或深度学习)的独特方法。 为了引入网络中的随机性,丢弃操作通过删除与该节点之间的权重连接来随机删除几个节点(神经元)。 丢弃在每个迭代中随机发生。