知识卡片

普通读书笔记卡 · 9827.h · 生成模型:DeepSeek-V4.1-Flash

CART回归树用平方误差切分

理解等级:中级

回归的标签是连续值,熵和基尼这类”类别纯度”指标失去意义——没有”类”可数。CART 回归树改用平方误差:对每个候选切分点 S,把数据切成 D1、D2,各用子集标签均值 c1、c2 作为该侧的预测值,然后选使两侧误差平方和之和最小的切分:

min over (F, S) [ Σ_{x∈D1} (yi − c1)² + Σ{x∈D2} (y_i − c2)² ]

因为对固定子集而言,使平方误差最小的常数正是均值,所以 c1、c2 直接取均值即可,不用额外优化。整个训练过程就是”遍历特征 → 扫描切分点 → 算这个和 → 取最小”,然后对左右子集递归。

叶子节点的输出也是均值(也可用中位数,对异常值更稳健):最终输入空间被切成 L 个小单元,每个单元输出该单元内样本标签的均值。因此 CART 回归树的预测是一个分段常数函数——阶跃的形状,不会像线性回归那样给出连续变化的斜率。要更平滑就得靠集成(随机森林对多棵树取平均,本质是把许多阶跃拼成更细的阶梯)。

和 CART 分类树的差别只有两处:切分准则(基尼 vs 平方误差)和叶子输出(多数类 vs 均值);树的生长方式、二叉结构、剪枝策略完全共用。这也是为什么 [[预剪枝与后剪枝的代价]] 里的剪枝算法能对两类树统一描述——只是把损失从基尼换成平方误差。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 决策树 6.3.3 CART决策树 · 查看原书依据

      回归问题的结果取值是很多个连续值,因此不能像分类问题一样采用信息增益或基尼系数等特征选择标准,怎么办呢?很简单,直接使用均方误差就行,即计算每一次特征划分后的结果与实际结果值之间的均方误差,采用均方误差最小的划分作为最优划分。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html) - 结论依据:原文说明回归不能用信息增益或基尼、直接用均方误差,并指出 CART 回归树与分类树只在特征选择标准和结果输出两处不同,叶子输出取子集均值或中位数。 - 原始内容:回归问题的结果取值是很多个连续值,因此不能像分类问题一样采用信息增益或基尼系数等特征选择标准,怎么办呢?很简单,直接使用均方误差就行,即计算每一次特征划分后的结果与实际结果值之间的均方误差,采用均方误差最小的划分作为最优划分。