知识卡片
CART回归树用平方误差切分
回归的标签是连续值,熵和基尼这类”类别纯度”指标失去意义——没有”类”可数。CART 回归树改用平方误差:对每个候选切分点 S,把数据切成 D1、D2,各用子集标签均值 c1、c2 作为该侧的预测值,然后选使两侧误差平方和之和最小的切分:
min over (F, S) [ Σ_{x∈D1} (yi − c1)² + Σ{x∈D2} (y_i − c2)² ]
因为对固定子集而言,使平方误差最小的常数正是均值,所以 c1、c2 直接取均值即可,不用额外优化。整个训练过程就是”遍历特征 → 扫描切分点 → 算这个和 → 取最小”,然后对左右子集递归。
叶子节点的输出也是均值(也可用中位数,对异常值更稳健):最终输入空间被切成 L 个小单元,每个单元输出该单元内样本标签的均值。因此 CART 回归树的预测是一个分段常数函数——阶跃的形状,不会像线性回归那样给出连续变化的斜率。要更平滑就得靠集成(随机森林对多棵树取平均,本质是把许多阶跃拼成更细的阶梯)。
和 CART 分类树的差别只有两处:切分准则(基尼 vs 平方误差)和叶子输出(多数类 vs 均值);树的生长方式、二叉结构、剪枝策略完全共用。这也是为什么 [[预剪枝与后剪枝的代价]] 里的剪枝算法能对两类树统一描述——只是把损失从基尼换成平方误差。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第06章 决策树
原书出处 · 1 处
- 第6章 决策树 6.3.3 CART决策树 · 查看原书依据
回归问题的结果取值是很多个连续值,因此不能像分类问题一样采用信息增益或基尼系数等特征选择标准,怎么办呢?很简单,直接使用均方误差就行,即计算每一次特征划分后的结果与实际结果值之间的均方误差,采用均方误差最小的划分作为最优划分。
参考来源
- 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html)
- 结论依据:原文说明回归不能用信息增益或基尼、直接用均方误差,并指出 CART 回归树与分类树只在特征选择标准和结果输出两处不同,叶子输出取子集均值或中位数。
- 原始内容:回归问题的结果取值是很多个连续值,因此不能像分类问题一样采用信息增益或基尼系数等特征选择标准,怎么办呢?很简单,直接使用均方误差就行,即计算每一次特征划分后的结果与实际结果值之间的均方误差,采用均方误差最小的划分作为最优划分。