← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9888 · 生成模型:Hunyuan

正则化的偏差方差交易

理解等级:初级

正则化指对学习算法的修改,目标是降低泛化误差而非训练误差,往往以训练误差上升为代价。从偏差—方差角度看,它用偏差的小幅增加换取方差的大幅下降,有效的正则化应显著减少方差而不过度增加偏差。深度学习面对图像、语音、文本等复杂领域,真实生成过程几乎总在模型族之外,因此最优模型往往不是参数量刚好的小模型,而是经过适当正则化的大模型。控制复杂度并不等于挑选正确参数个数,正则化才是让大模型泛化的关键。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 深度学习中的正则化 · 查看原书依据

      在深度学习的背景下,大多数正则化策略都会对估计进行正则化。估计的正则化以偏差的增加换取方差的减少。一个有效的正则化是有利的“交易”,也就是能显著减少方差而不过度增加偏差。

    参考来源

    - 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文把正则化定义为减少泛化误差的修改,用“有利的交易”描述偏差换方差,并指出最好的拟合模型是适当正则化的大型模型。 - 原始内容:在深度学习的背景下,大多数正则化策略都会对估计进行正则化。估计的正则化以偏差的增加换取方差的减少。一个有效的正则化是有利的“交易”,也就是能显著减少方差而不过度增加偏差。