知识卡片
最小角回归一次算完整路径
最小角回归(LARS)是求 Lasso 整条路径解的高效算法:不固定 λ 求一次 β,而是把 β 看成 λ 的函数,一次算出所有 λ 对应的解,复杂度与求一个最小二乘解相当。它像逐步向前回归,但每次只把变量推进到“应有的程度”:先选与残差相关性最大的变量,让它的系数从 0 缓慢增加,使它与残差的相关性不断下降;当另一个变量与残差的相关性追平时暂停,把它也纳入备选集,两者沿联合最小二乘方向一起前进;如此反复,直到全部变量入选,最后一步就是最小二乘解(p>n-1 时残差为 0,步数为 min(n-1,p),减 1 是因为数据已标准化)。把 S4 改成“某系数归零就踢出备选集”,即得 Lasso 路径。整条路径上系数分段线性。
结构图:
flowchart TD
A["S1 标准化并令残差为 Y"] --> B["S2 选与残差最相关的变量"]
B --> C["S3 系数从零增加到相关追平"]
C --> D["S4 新变量入集后联合前进"]
D --> E["还有变量未入选吗"]
E -->|"有"| C
E -->|"无"| F["得到最小二乘解"]
F --> G["S4a 系数归零则踢出得 Lasso 路径"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 线性回归方法 · 查看原书依据
实际上它提供了一种快速高效的求Lasso模型整个路径解的方法。也就是说,不再是固定一个λ的值,然后求解β,而是把β看成λ的函数,与求最小二乘解的算法复杂度类似
参考来源
- 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0003.xhtml,2.3.1 最小角回归)
- 结论依据:原文给出 LARS 的 S1—S5 步骤、与向前分段回归的关系、步数上界,以及用 S4a 得到 Lasso 路径的说明。
- 原始内容:实际上它提供了一种快速高效的求Lasso模型整个路径解的方法。也就是说,不再是固定一个λ的值,然后求解β,而是把β看成λ的函数,与求最小二乘解的算法复杂度类似