知识卡片
Lasso把小系数压到零
Lasso 用平方误差拟合观测,在系数绝对值之和上加罚。绝对值在零点有次梯度区间,因此一段范围内的数据拟合力可以被正则抵消,系数精确为零。岭回归的平方惩罚通常只是收缩。λ 用交叉验证选择,输入特征尺度应统一以使惩罚可比较。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第3章 稀疏回归
原书出处 · 1 处
- 稀疏回归 3.1 Lasso问题 · 查看原书依据
区别于岭回归惩罚项中的平方值,Lasso回归的惩罚项中有用于约束估计的绝对值之和,此值会使一些参数估计结果等于零,因此增加了算法的稀疏性,所以也称作稀疏回归。
参考来源
- 位置:《分布式机器学习:交替方向乘子法在机器学习中的应用》第3章《稀疏回归》3.1 Lasso问题(来源项目 book-source,源文件:extracted/分布式机器学习:交替方向乘子法在机器学习中的应用/_epub-src/OEBPS/Text/chapter3.xhtml)
- 结论依据:3.1 Lasso问题中的定义、更新式或实验叙述提供本卡依据。Lasso 用平方误差拟合观测,在系数绝对值之和上加罚。
- 原始内容:区别于岭回归惩罚项中的平方值,Lasso回归的惩罚项中有用于约束估计的绝对值之和,此值会使一些参数估计结果等于零,因此增加了算法的稀疏性,所以也称作稀疏回归。