← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9840.j · 生成模型:Hunyuan

CART回归树:最小剩余方差划分

理解等级:中级

CART 既做分类也做预测,用决策树实现回归时,样本是连续的观察值与输出值,没有离散标签,分类树的“纯度”准则失效。CART 改用最小剩余方差:期望切分后子树与样本点的误差方差最小。做法是反复把数据集切成子模型数据,对每块用线性回归建模;若某块仍难拟合就继续切,于是每个叶子都是一个线性模型。

主函数仍是递归:输入数据,用最小剩余方差选最优划分并建节点,按划分值把数据二分,分别长左右子树,检查终止条件后递归。二分函数 binSplit 按某列是否大于给定值把样本分成上下两组。

这套机制让 CART 不只做整体预测,还能从数据里发现局部模式再组合成整体,这正是它在预测分析中应用广泛的原因。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 决策树的发展 · 查看原书依据

      在预测中,CART使用最小剩余方差(Squared Residuals Minimization)来判定回归树的最优划分,这个准则期望划分之后的子树与样本点的误差方差最小。这样决策树将数据集切分成很多子模型数据,然后利用线性回归技术来建模。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html) - 结论依据:原文指出预测场景下分类树的划分规则失效,CART 改用最小剩余方差、每个叶子是线性回归模型(模型树),并给出递归主函数与 binSplit 二分代码,支撑本卡。 - 原始内容:在预测中,CART使用最小剩余方差(Squared Residuals Minimization)来判定回归树的最优划分,这个准则期望划分之后的子树与样本点的误差方差最小。这样决策树将数据集切分成很多子模型数据,然后利用线性回归技术来建模。