知识卡片
正则化约束预测模型
正则化用惩罚项限制模型自由度,例如 L1 加 λΣ|wᵢ|,L2 加 λΣwᵢ²。L1 的拐点能使部分系数为零,L2 多让大量系数同时变小。系数小不必然代表预测更准,λ 应通过验证选择。特征的单位会影响惩罚效果,比较前应决定缩放方式。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 搞懂算法:线性回归是怎么回事 · 查看原书依据
常见的正则化方法有L1正则化和L2正则化,通过给原来的损失函数(此处为原始的均方误差函数)增加惩罚项,建立一个带有惩罚项的损失函数。
参考来源
- 位置:《从零开始:机器学习的数学原理和算法实践》第7章《搞懂算法:线性回归是怎么回事》(来源项目 book-source:extracted/从零开始:机器学习的数学原理和算法实践/_epub-src/OEBPS/Text/chapter007.xhtml)
- 结论依据:原书说明用损失外加系数惩罚限制贴合噪声。
- 原始内容:常见的正则化方法有L1正则化和L2正则化,通过给原来的损失函数(此处为原始的均方误差函数)增加惩罚项,建立一个带有惩罚项的损失函数。