知识卡片

结构图卡 · 9633.p · 生成模型:DeepSeek-V4.1-Flash

梯度提升拟合负梯度

理解等级:高级

把预测函数 F(x) 在每一点的取值都看作参数,优化就发生在函数空间而非参数空间,目标是最小化 Φ(F)=E_{y,x}L(y,F(x))。最速下降的做法是:先算当前负梯度 -g_m(x_i)=-∂L(yi,F)/∂F 在 F=F{m-1} 处的值,它指出下降方向;再用一个受约束的基函数 h(x;a_m) 去最小二乘逼近这个负梯度(这一步把方向限制在树能表达的范围内),最后沿该方向线搜索步长 ρ_m,更新 Fm=F{m-1}+ρ_m h(x;am)。负梯度在这里扮演“伪响应”的角色,原来难解的最小化问题就变成两次简单计算:最小二乘拟合 + 一维线搜索。平方损失下负梯度恰为残差 y-F{m-1}(x),伪响应就是残差,这条特例即 L2-Boosting;换成其他可微损失,就得到各种梯度提升算法。

结构图:

flowchart TD
  A["当前模型 F_{m-1}"] --> B["算负梯度 -g_m(x_i)"]
  B --> C["用树 h(x;a_m) 最小二乘逼近"]
  C --> D["线搜索步长 ρ_m"]
  D --> E["F_m=F_{m-1}+ρ_m h"]
  E --> A
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 决策树与组合方法 · 查看原书依据

      为了得到式(5.11)的解,我们拟合h(x; a)与伪响应变量 。这使得较困难的最小化问题(5.11)转变成用较容易的最小二乘法求解式(5.13)以及用线性搜索法求解式(5.14)。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.3 梯度下降算法) - 结论依据:原文把可加模型拟合与最速下降相联系,说明用基函数逼近负梯度、再线搜索乘子并更新 F,且指出伪响应与最小二乘替代了原最小化问题。 - 原始内容:为了得到式(5.11)的解,我们拟合h(x; a)与伪响应变量 。这使得较困难的最小化问题(5.11)转变成用较容易的最小二乘法求解式(5.13)以及用线性搜索法求解式(5.14)。