← 返回刚才阅读的位置

知识卡片

结构图卡 · 9630.q · 生成模型:DeepSeek-V4.1-Flash

最小角回归一次算完整路径

理解等级:高级

最小角回归(LARS)是求 Lasso 整条路径解的高效算法:不固定 λ 求一次 β,而是把 β 看成 λ 的函数,一次算出所有 λ 对应的解,复杂度与求一个最小二乘解相当。它像逐步向前回归,但每次只把变量推进到“应有的程度”:先选与残差相关性最大的变量,让它的系数从 0 缓慢增加,使它与残差的相关性不断下降;当另一个变量与残差的相关性追平时暂停,把它也纳入备选集,两者沿联合最小二乘方向一起前进;如此反复,直到全部变量入选,最后一步就是最小二乘解(p>n-1 时残差为 0,步数为 min(n-1,p),减 1 是因为数据已标准化)。把 S4 改成“某系数归零就踢出备选集”,即得 Lasso 路径。整条路径上系数分段线性。

结构图:

flowchart TD
  A["S1 标准化并令残差为 Y"] --> B["S2 选与残差最相关的变量"]
  B --> C["S3 系数从零增加到相关追平"]
  C --> D["S4 新变量入集后联合前进"]
  D --> E["还有变量未入选吗"]
  E -->|"有"| C
  E -->|"无"| F["得到最小二乘解"]
  F --> G["S4a 系数归零则踢出得 Lasso 路径"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 线性回归方法 · 查看原书依据

      实际上它提供了一种快速高效的求Lasso模型整个路径解的方法。也就是说,不再是固定一个λ的值,然后求解β,而是把β看成λ的函数,与求最小二乘解的算法复杂度类似

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0003.xhtml,2.3.1 最小角回归) - 结论依据:原文给出 LARS 的 S1—S5 步骤、与向前分段回归的关系、步数上界,以及用 S4a 得到 Lasso 路径的说明。 - 原始内容:实际上它提供了一种快速高效的求Lasso模型整个路径解的方法。也就是说,不再是固定一个λ的值,然后求解β,而是把β看成λ的函数,与求最小二乘解的算法复杂度类似