← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9847.i · 生成模型:Hunyuan

L1/L2正则化:拟合与泛化的折中

理解等级:高级

L1/L2正则化在损失上加一项参数范数惩罚:E(θ,D)=NLL(θ,D)+λR(θ),λ是控制正则项重要性的超参数,p取1或2,p取2即常说的权重衰减。加正则项会惩罚大参数、压低网络映射的非线性,使解更平滑;最小化NLL与R(θ)之和,就是在数据拟合与解的“一般性”之间找折中,符合奥卡姆剃刀——倾向更简单的解。实现上L1取各权重绝对值之和、L2取平方和,分别乘L1_reg与L2_reg并入cost。边界在于:简单并不保证泛化好,经验表明这种正则化对小规模数据集帮助更明显,对大规模数据有限。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第10章 认知计算与深度学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00034.html) - 结论依据:原文给出带λR(θ)的正则化损失、p=2称权重衰减、平滑化与奥卡姆剃刀的折中解释,并明确指出简单不等于泛化好、对小数据集帮助更大。 - 原始内容:原则上,加入一个正则项到损失函数将促使神经网络中的网络映射变得平滑(通过惩罚参数,极大地降低网络模型的非线性)。