知识卡片
L1和L2的系数约束
岭回归在残差平方和上加入平方 L2 惩罚,通常连续缩小系数。Lasso 使用 L1 惩罚,可能令部分系数精确为零。改动残差项的缩放而保持惩罚系数不变,会改变两项相对权重,比较模型时应一起核对。
[[范数与参数惩罚]]。L1 和平方 L2 用于参数惩罚时对应不同约束行为。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 4.3 在Python中使用Logistic回归算法 · 查看原书依据
对应Ridge回归算法,又称为岭回归,用于预测回归问题,是在线性回归的基础上添加了L2正则项,使得权重weight的分布更为平均,其损失函数的数学表达式如下:
参考来源
- 位置:《机器学习算法的数学解析与Python实现》4.3 在Python中使用Logistic回归算法(来源项目 book-source,`extracted/机器学习算法的数学解析与Python实现/_epub-src/OEBPS/text00047.html`)
- 结论依据:原节对比 LinearRegression、Ridge 和 Lasso 的目标。
- 原始内容:对应Ridge回归算法,又称为岭回归,用于预测回归问题,是在线性回归的基础上添加了L2正则项,使得权重weight的分布更为平均,其损失函数的数学表达式如下: