知识卡片
正则化的偏差方差交易
正则化指对学习算法的修改,目标是降低泛化误差而非训练误差,往往以训练误差上升为代价。从偏差—方差角度看,它用偏差的小幅增加换取方差的大幅下降,有效的正则化应显著减少方差而不过度增加偏差。深度学习面对图像、语音、文本等复杂领域,真实生成过程几乎总在模型族之外,因此最优模型往往不是参数量刚好的小模型,而是经过适当正则化的大模型。控制复杂度并不等于挑选正确参数个数,正则化才是让大模型泛化的关键。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 深度学习中的正则化 · 查看原书依据
在深度学习的背景下,大多数正则化策略都会对估计进行正则化。估计的正则化以偏差的增加换取方差的减少。一个有效的正则化是有利的“交易”,也就是能显著减少方差而不过度增加偏差。
参考来源
- 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文把正则化定义为减少泛化误差的修改,用“有利的交易”描述偏差换方差,并指出最好的拟合模型是适当正则化的大型模型。
- 原始内容:在深度学习的背景下,大多数正则化策略都会对估计进行正则化。估计的正则化以偏差的增加换取方差的减少。一个有效的正则化是有利的“交易”,也就是能显著减少方差而不过度增加偏差。