知识卡片
CART回归树:最小剩余方差划分
CART 既做分类也做预测,用决策树实现回归时,样本是连续的观察值与输出值,没有离散标签,分类树的“纯度”准则失效。CART 改用最小剩余方差:期望切分后子树与样本点的误差方差最小。做法是反复把数据集切成子模型数据,对每块用线性回归建模;若某块仍难拟合就继续切,于是每个叶子都是一个线性模型。
主函数仍是递归:输入数据,用最小剩余方差选最优划分并建节点,按划分值把数据二分,分别长左右子树,检查终止条件后递归。二分函数 binSplit 按某列是否大于给定值把样本分成上下两组。
这套机制让 CART 不只做整体预测,还能从数据里发现局部模式再组合成整体,这正是它在预测分析中应用广泛的原因。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 决策树的发展 · 查看原书依据
在预测中,CART使用最小剩余方差(Squared Residuals Minimization)来判定回归树的最优划分,这个准则期望划分之后的子树与样本点的误差方差最小。这样决策树将数据集切分成很多子模型数据,然后利用线性回归技术来建模。
参考来源
- 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html)
- 结论依据:原文指出预测场景下分类树的划分规则失效,CART 改用最小剩余方差、每个叶子是线性回归模型(模型树),并给出递归主函数与 binSplit 二分代码,支撑本卡。
- 原始内容:在预测中,CART使用最小剩余方差(Squared Residuals Minimization)来判定回归树的最优划分,这个准则期望划分之后的子树与样本点的误差方差最小。这样决策树将数据集切分成很多子模型数据,然后利用线性回归技术来建模。