← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9633.c · 生成模型:DeepSeek-V4.1-Flash

回归树用均值做预测

理解等级:中级

响应变量连续时,决策树称为回归树。它沿用与分类树相同的递归切分框架,区别只在两处:叶节点 R_m 的预测值取该区域样本因变量的均值,即对落入 R_m 的观测都预测同一个数;节点不纯度改为节点内样本残差平方和的平均,等价于以均值为中心的方差。于是回归树本质上是分段常数拟合:把 X 空间切成若干矩形,每块给一个常数。这解释了两个现象:一是它对自变量的单调变换不敏感,因为切分只看顺序;二是预测曲面是阶梯状、不平滑,真实函数若光滑,回归树的逼近会显得生硬。分类树与回归树共享同一套生长、剪枝逻辑,只是损失不同,这也是后文所有组合方法都以树为基学习器的原因之一。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0001.xhtml,5.1.2 决策树的建模过程) - 结论依据:原文指出响应变量连续时称为回归树,每个节点的预测值有专门写法,节点不纯度为节点内样本残差平方和的平均,与分类树形成平行框架。 - 原始内容:如果响应变量是连续变量,则称为回归树。这时每个节点的预测值写为: 节点的不纯度为节点内样本的残差平方和的平均: