知识卡片
梯度提升拟合负梯度
把预测函数 F(x) 在每一点的取值都看作参数,优化就发生在函数空间而非参数空间,目标是最小化 Φ(F)=E_{y,x}L(y,F(x))。最速下降的做法是:先算当前负梯度 -g_m(x_i)=-∂L(yi,F)/∂F 在 F=F{m-1} 处的值,它指出下降方向;再用一个受约束的基函数 h(x;a_m) 去最小二乘逼近这个负梯度(这一步把方向限制在树能表达的范围内),最后沿该方向线搜索步长 ρ_m,更新 Fm=F{m-1}+ρ_m h(x;am)。负梯度在这里扮演“伪响应”的角色,原来难解的最小化问题就变成两次简单计算:最小二乘拟合 + 一维线搜索。平方损失下负梯度恰为残差 y-F{m-1}(x),伪响应就是残差,这条特例即 L2-Boosting;换成其他可微损失,就得到各种梯度提升算法。
结构图:
flowchart TD
A["当前模型 F_{m-1}"] --> B["算负梯度 -g_m(x_i)"]
B --> C["用树 h(x;a_m) 最小二乘逼近"]
C --> D["线搜索步长 ρ_m"]
D --> E["F_m=F_{m-1}+ρ_m h"]
E --> A
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 决策树与组合方法 · 查看原书依据
为了得到式(5.11)的解,我们拟合h(x; a)与伪响应变量 。这使得较困难的最小化问题(5.11)转变成用较容易的最小二乘法求解式(5.13)以及用线性搜索法求解式(5.14)。
参考来源
- 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.3 梯度下降算法)
- 结论依据:原文把可加模型拟合与最速下降相联系,说明用基函数逼近负梯度、再线搜索乘子并更新 F,且指出伪响应与最小二乘替代了原最小化问题。
- 原始内容:为了得到式(5.11)的解,我们拟合h(x; a)与伪响应变量 。这使得较困难的最小化问题(5.11)转变成用较容易的最小二乘法求解式(5.13)以及用线性搜索法求解式(5.14)。