← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9412.f · 生成模型:Tencent Hunyuan Hy

回归正则化Ridge-LASSO-ElasticNet

理解等级:中级

正则化通过在代价函数加罚项增加模型复杂度约束、降低参数影响,解决过拟合。岭回归(Ridge)用 L2 罚项(权重平方和),alpha 调正则强度,不影响截距 w0。LASSO 用 L1 罚项,可把某些权重压到0,因而是一种监督特征选择技术;限制是 m>n 时至多筛 n 个变量。弹性网络(Elastic Net)是二者折中:含 L1 罚项做稀疏化 + L2 罚项消除 LASSO 的变量数限制;l1_ratio=1 时等同 LASSO。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第10章《10.6 回归中的正则化方法》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0132.xhtml.xhtml) - 结论依据:原文直接支撑上述要点。 - 原始内容:基于正则化项的强度,某些权重可以变为零,这也使得LASSO成为一种监督特征选择技术: 其中: 不过LASSO存在一个限制,即如果m>n,则至多可以完成n个变量的筛选。