知识卡片
提前终止的正则化机制
提前终止记录验证集误差最低时的参数副本,当验证误差连续若干轮不再改善即停止训练。它可能是深度学习中最常用的正则化,因有效且简单而流行;本质是一种高效的超参数选择——训练步数是唯一只需跑一次训练就能尝试多个值的超参数。其正则化机制是把参数空间限制在初始值的小邻域内:限制迭代次数与学习率相当于限制可达范围,迭代次数的作用类似权重衰减系数的倒数。在二次近似下可证明提前终止与L2正则化等价,且大曲率方向的参数更早学到。相比权重衰减,它能自动确定合适的正则化量,无需多次超参实验,代价只是定期评估验证集并保存最佳参数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 深度学习中的正则化 · 查看原书依据
这种策略被称为提前终止 (early stopping)。这可能是深度学习中最常用的正则化形式。它的流行主要是因为有效性和简单性。 我们可以认为提前终止是非常高效的超参数选择算法。
参考来源
- 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文说明提前终止的流行与超参选择视角,并把机制归结为限制参数邻域、与L2等价及自动确定正则化量。
- 原始内容:这种策略被称为提前终止 (early stopping)。这可能是深度学习中最常用的正则化形式。它的流行主要是因为有效性和简单性。 我们可以认为提前终止是非常高效的超参数选择算法。