知识卡片
分组Lasso整组取舍
有些自变量天然成组(同一分类变量的哑变量、同一来源的多个指标),希望整组进或整组出。Grouped Lasso 把 p 个变量分成 M 组,第 m 组含 pm 个变量、系数向量 βm,最小化 SSE+λΣωm‖βm‖₂:组内用不带平方的欧几里得范数,组间加权求和。L2 范数在组内是光滑的,不会把组内单个系数压成 0,但整体在 0 点不可微,于是要么整组为零、要么整组非零。与 Lasso 的差别可看约束区域:Lasso 是多方体、顶点多,容易单个归零;岭回归是球面、处处光滑;Grouped Lasso 是柱面与球的组合,只在整组层面有尖点。求解可用 KKT 条件迭代,也可用基于最小角回归的 Group LARS。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 线性回归方法 · 查看原书依据
这样的惩罚可以使得整个一组变量同时被选中或者被删除(整组的系数为0)。假定现在有三个变量,其中前两个构成一组,对应的系数是一个二元向量β1=(β11, β12′),另一个变量的系数是β2
参考来源
- 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0004.xhtml,2.4.3 其他罚函数)
- 结论依据:原文说明分组压缩的动机、目标函数、整组为零的效果,并用图 2—10 对比 Lasso、Grouped Lasso 与岭回归的约束区域。
- 原始内容:这样的惩罚可以使得整个一组变量同时被选中或者被删除(整组的系数为0)。假定现在有三个变量,其中前两个构成一组,对应的系数是一个二元向量β1=(β11, β12′),另一个变量的系数是β2