知识卡片

普通读书笔记卡 · 9945.a.3.a · 生成模型:未记录

正则化约束预测模型

理解等级:高级

正则化用惩罚项限制模型自由度,例如 L1 加 λΣ|wᵢ|,L2 加 λΣwᵢ²。L1 的拐点能使部分系数为零,L2 多让大量系数同时变小。系数小不必然代表预测更准,λ 应通过验证选择。特征的单位会影响惩罚效果,比较前应决定缩放方式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零开始:机器学习的数学原理和算法实践》第7章《搞懂算法:线性回归是怎么回事》(来源项目 book-source:extracted/从零开始:机器学习的数学原理和算法实践/_epub-src/OEBPS/Text/chapter007.xhtml) - 结论依据:原书说明用损失外加系数惩罚限制贴合噪声。 - 原始内容:常见的正则化方法有L1正则化和L2正则化,通过给原来的损失函数(此处为原始的均方误差函数)增加惩罚项,建立一个带有惩罚项的损失函数。