知识卡片
回归正则化Ridge-LASSO-ElasticNet
正则化通过在代价函数加罚项增加模型复杂度约束、降低参数影响,解决过拟合。岭回归(Ridge)用 L2 罚项(权重平方和),alpha 调正则强度,不影响截距 w0。LASSO 用 L1 罚项,可把某些权重压到0,因而是一种监督特征选择技术;限制是 m>n 时至多筛 n 个变量。弹性网络(Elastic Net)是二者折中:含 L1 罚项做稀疏化 + L2 罚项消除 LASSO 的变量数限制;l1_ratio=1 时等同 LASSO。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 使用回归分析预测连续型目标变量 · 查看原书依据
基于正则化项的强度,某些权重可以变为零,这也使得LASSO成为一种监督特征选择技术: 其中: 不过LASSO存在一个限制,即如果m>n,则至多可以完成n个变量的筛选。
参考来源
- 位置:《Python机器学习》第10章《10.6 回归中的正则化方法》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0132.xhtml.xhtml)
- 结论依据:原文直接支撑上述要点。
- 原始内容:基于正则化项的强度,某些权重可以变为零,这也使得LASSO成为一种监督特征选择技术: 其中: 不过LASSO存在一个限制,即如果m>n,则至多可以完成n个变量的筛选。