知识卡片

普通读书笔记卡 · 9417.j · 生成模型:Tencent Hunyuan Hy

L1 与 L2 正则化

理解等级:中级

L1 与 L2 是加到损失函数上构成成本函数的惩罚项,通过压缩自由参数来抑制过拟合,其中 λ 是需手动调节的超参数。L1 正则化把权重绝对值作为惩罚项:它倾向于让部分权重变得可忽略甚至为零,对异常值不敏感、较为鲁棒,但计算代价较高,且可能在损失函数中引入不连续点,因此实践中较少使用。L2 正则化把权重的平滑平方值作为惩罚项:平方易于计算且能保证函数连续,因而是更常见的选择;但平方会放大离群值的损失,使成本函数对异常值敏感。两者是鲁棒性与可计算性、连续性之间的取舍,和 [[回归损失:均方误差与绝对误差]] 中 MSE 与 MAE 的权衡思路相通。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文分别给出 L1 绝对值惩罚与 L2 平方惩罚的定义及各自优劣,并说明 λ 的作用,支撑两者在鲁棒性与可计算性上的取舍结论。 - 原始内容:L1 正则化被认为是健壮的,因为它对数据的异常值不那么敏感。 但是 L1 正则化有时可能会在计算上变得昂贵,并可能在我们的损失函数中引入不连续性。